Het dorp Asten begint in velerlei opzichten als een grensnederzetting. Zo was het lange tijd gelegen aan de ontginningsgrens van de onherbergzame Peel, tevens de eeuwenoude afbakening tussen de hertogdommen Brabant en Gelre, of zoals tegenwoordig nog steeds, tussen de provincies Noord-Brabant en Limburg. Het zijn vooral missionarissen (Willibrord), monniken (Norbertijnen) en wereldlijke heren (Heren van Cuijck) die dit relatief lege gebied in de Middeleeuwen openleggen en ontwikkelen.

 xml:namespace prefix = o ns = "urn:schemas-microsoft-com:office:office" />

Het is in deze tijd (1399) dat t' Huys tot Asten voor het eerst opduikt in de annalen. Beginnend als agrarisch uitbatingscentrum of mansio wordt het al ras uitgebreid tot een heus kasteel bestaande uit een versterking, een woongedeelte en een hofstede. Terwijl de omgeving wordt geteisterd door misoogsten en plunderende legers, wordt rond 1600 het kasteel omgebouwd tot een edelmanswoning in Renaissance stijl, waarbij ook de voorburcht met karakteristieke toren zijn huidige vorm krijgt. Het is ook in deze tijdspanne dat een van de meest kleurrijke en beruchte kasteelheren, Bernard van Merode, zijn landgoed weet uit te breiden, niet in het minst geholpen door onteigeningen van door hem vervolgde en gemartelde tovenaars en heksen uit de omgeving.

Hoewel het kasteel rond 1680 nog wordt verfraaid door Everard van Doerne, raakt het in de achttiende eeuw in verval, vooral omdat het in bezit komt van vaak absente Hollandse regenten. Het statige edelmanshuis van weleer verwordt geleidelijk tot een verwaarloosd jacht- en zomerverblijf, slechts nu en dan verhuurd aan derden of bewoond door 'kasteleins'. Gelijktijdig met de voortschrijdende aantasting van de Heerlijke rechten, takelt het kasteel in de negentiende eeuw verder af.