Stedet har været ejet af mange fornemme slægter op gennem den lange historie. Det starter tilbage i 1400 årene, hvor slægten Fasti får samlet så meget gods at en hovedgård kan oprettes. En af ejerne Thomas Fasti nævnes som krigsherre for kongen i dennes krig i Ditmarsken. Efter Fasti-slægten overtog bl.a. en Skeel og herefter en Palle Krag - som dog døde barnløs. På grund af dette blev gården solgt på auktion til en generalmajor Poul Rosenørn. Efter yderligere et par ejerskifter blev Katholm i 1916 købt af kammerherre Holger Collet - dennes efterkommere driver stadig godset.

Dagens drift er primært korn- og kartoffelavl samtidig med lidt skovbrug som primært er juletræer og pyntegrønt.