Gårdens historie går med sikkerhed tilbage til 1531, hvor Lindbjerggaard nævnes i et lovhævdsbrev i Nørhald Herredsbog.
Fra en artikel omkring 1660 får man at vide, at Støffringgaard i Lindbjerg havde en ødegaard, Lindbjerggaard, den var på det tidspunkt en gård på godt 20 tdr. hartkorn og havde skov til 100 svins olden. Ret hurtig herefter blev gården til omkring 11 tdr. hartkorn.
Sagnet vil vide at gården på dette tidspunkt blev flyttet fra bækken til dens nuværende beliggenhed ovenfor hulvejen. Lavningen ved voldstedet blev kaldt ”Tyskernes Sig” fordi de kejserlige tropper løb storm mod Lindbjerggaard; men blev slået ned. Nogen fæstning kan man næppe forestille sig; men Lindbjerggaard har været ”en Gård med Vold og Grav”.
Stensætningen hvor hulen går over bækken formodes at stamme fra denne tid.