De naam Horst komt reeds voor in 1263, maar een eerste burcht werd pas gebouwd op het einde van de 14° eeuw. Meerdere verhalen van de Rode Ridder spelen zich af op deze locatie. Het huidig kasteel is eigendom van de Vlaamse gemeebnschap en wordt beheerd door Erfgoed Vlaanderen.