De kruidtuin werd aangelegd door een Leuvens tuinarchitect Guillaume Rosseels en onder leiding van de Duitse botanicus professor J.F. Aldeman.

Naar ontwerp van de hofarchitect van de Prins van Oranje Charles Vander Straeten werden van 1921 tot 1823 het poortgebouw, de oranjerie en een omheiningmuur in classicistische stijl opgetrokken.

De oranjerie werd verschillende keren verbouwd: het oostelijk gedeelte werd in 1853 voorzien van een verhoogd schilddak in glas en kon daardoor dienen als palmenserre. Rond 1903 werden de gebouwen ontpleisterd. Een extra bouwlaag werd aangelegd in 1913 door de stadsarchitect Eugéne Frische, er kwamen 9 beglaasde muuropeningen tussen gietijzeren zuilen, afgedekt door een typisch vierzijdig gebogen en een volledig beglaasd serredak. Deze laatste ingreep werd reeds gedeeltelijk gesloopt bij de restauratie van 1980-83 met het oog om het gebouw te herstellen in het oorspronkelijk 19de-eeuws classisitisch geheel. De prachtige metalen structuur van de rotondes werd vervangen door een aluminium structuur in 1971.

De dakstructuur van de oostelijke en westelijke beuk werd in 1983 eveneens vervangen door aluminium.

De kruidtuin werd in 1976 beschermd als landschap, het oranjerie als monument.