Na 1800 raakte het geheel in verval. De zonnewijzer werd naar elders verplaatst ende tuin werd gebruikt als marechausseemanege en opslagplaats van bouwma-terialen en kipkarretjes. Pas na 1936 werd er met het herstel begonnen. Eerst in 1953 keerde de zonnewijzer terug, waarvan men met enige moeite niet alleen de tijd, maar ook het mogelijk aantal geschenen en nog te schijnen aantal uren zon kan aflezen.