I middelalderen har stedet tilhørt Øm Kloster, men kom under Kronen som en følge reformationen. I 1579 overtog Hans Axelsen Arenfeldt stedet og påbegyndte opførelsen af Rugård.

Til stedets historie hører også en af den tids store beskæftigelser: Heksejagt. Man tog den anklagede bandt hende til en snor og smed hende i Smededammen (hedder Heksedammen i dag). Flød hun ovenpå var hun en heks og blev brændt på bålet. Sank hun derimod blev hun frikendt og halet i land. Det blev til så mange heksejagter, at Arenfeldt blev stillet for landets højeste domstol og idømt en stor bøde.

Optil 1857, hvor Ferdinand Mourier-Petersen, formand for Hedeselskabet købte Rugård, var det ejet af flere århusianere. Af de mest kendte var nok Jakob Benzon, amtmand og statholder i Norge. En anden kendt, var Rådmad Hans Ingerslev - landets dygtigste landmand. Mourier-Petersen slægten ejer Rugård i dag og det drives som et meget traditionelt skovbrug og planteavl.