Au XVIIIème siècle Joseph Calmetas d'ELNE fit construire à ses frais deux chambres et la sacristie.
La cuisine sur la fontaine et le camaril datent du XIXème siècle.

En 1840, le conseil des fabriques acheta 200 ares de terrain pour planter des arbres.

A partir du XXe siècle, alors que les ermites ont disparu l'entretien de la chapelle est confiée aux curés du village, en 1970 l'association de Notre Dame du Château prendra le relais et grâce principalement aux finances de la population, l'ermitage est complètement restauré après qu'un terrible incendie ne réduise tout à néant en ce début du XXIe siècle.