De plaatsnaam Ursene is afkomstig van de naam 'Asscherayen', vervorming van 'Schreyhane', zou verwijzen naar het riddergeslacht dat in de 12de eeuw het hof en de heerlijkheid van Ursene bezat. De Asschrijhanes worden als eersten in de kronieken vermeld, meer bepaald in de handschriften over de Grimbergse Oorlog. Doorheen de 13de, 14de en 15de eeuw worden verschillende gronden in Ursene verpacht aan derden. Graaf Hendrik van Nassau verwierf in 1534 wel een groot aantal lenen van de graven van Vlaanderen, maar een ander deel van Londerzeel bleef voorlopig nog tot de heerlijkheid van Dendermonde behoren, onder meer Ursene.

De oorsprong van Ursene hangt nauw samen met het kasteel van Ursene. Op de oudste afbeelding van het kasteel – een figuratieve kaart uit de 'Generale metingh ende Caertboeck der Prochie van Londerseel' opgemaakt door Jan van Acoleyen in 1709-1710 – wordt een waterkasteel met vier hoektorens afgebeeld. Toch werd het kasteel ook wel het kasteel Drie Torens genoemd. De naam duikt op in een schenkingsakte van 1595, toen Joost van Ursene "het hoff ten Drie Torrens, gemeynelyck genoempt 't hoff van Ursene oft van Asscherayen" samen met een 'huis van plaisantie', een hoeve, vijvers, weiden, akkers en bossen en de bijbehorende heerlijkheid, aan zijn kleinzoon vermaakte. Charles-Henri-Ghislain Boot, heer van Sombeke, Ursene, Londerzeel en – vanaf 1783 – graaf van Veltem, gaf in 1786 (volgens de gevelsteen rechts van de voordeur) het kasteel zijn huidige vorm: een bakstenen gebouw met een vierkante plattegrond, oorspronkelijk witgepleisterd, vijf bij vijf traveeën, met een souterrain, een hoge bel-etage, een minder hoge verdieping en een mezzanine onder het afgeknotte leien schilddak met dakkapellen en hoge schouwen.

In het jaar 1602 werd een nieuw register aangelegd met opgave van de leengoederen van Dendermonde hierin kan men ook het goed van Ursene terugvinden en staat beschreven: "Philips van Urssene, nu Joncker Philips zijnen sone, houdt t’eenen vollen Leene van mijne Heere van Dendermonde ‘t huijs ende hof genaemt het Huijs van Asschreijhave oft van Urssene, met alle sijnen toebehoorten alsoo tzelve gestaen ende gelegen is binnen de prochie van Londerzele, groot ontrent metten Landen, Bempden, weijden, waeteren ende Bosschen met oock de helft van eenen Watermeulen aen het voorschreve hof gelegen, tSamen ontrent dertigh bunderen." Doorheen de 16de en 17de eeuw werd Ursene mee onderdeel van Londerzeel en verloor hierdoor haar status van heerlijkheid.