Der høres første gang om stedet da Johanniterklostret i Viborg i 1445 overdrager det til benediktinerne på Essenbæk Kloster. Ovenpå reformationen blev gården indlemmet under kronen. Rigsmarsk Erik Eriksen Banner ejede stedet og havde via sin titel som lesmand på Kalø i et par år opsynet med en berømt fange: Gustav Vasa.

Herregården overtages af slægten Rantzau og en af ejerne, Christian Rantzau bliver senere premierminister i Danmark. Rantzau'erne har i deres våbenskjold en gylden løve og i 1647 blev godset til et grevskab med navnet: Løvenholm. Rantzau'ernes tid på Løvenholm endte desværre noget tragisk med et broderligt drab. Som et resultat af den efterfølgende livstidsstraf inddrog kongen godset.

Efter en del overdragelser og handler med Løvenholm kom det til sidst i 1920'erne i hænderne af Valdemar Uttental. Han oprettede Løvenholm Fonden med henblik på at skabe en jysk udgave af Herlufsholm Kostskole. Dette kunne imidlertid ikke realiseres. Fundatsen er blevet ændret og Løvenholm blev først til et kollegium og bruges nu til uddannelse og forskning inden for land- og skovbrug.