Die Burg wird im 19. Jahrhundert zum normalen Gefängnis umgebaut, später ist sie dann nur noch eine gewöhnliche Kaserne.
1894 kauft Lourdes die heruntergekommene Burg.
Mirat, der Sarazenenfürst, besetzte auf dem Rückzug die Burg und verteidigte sie erfolgreich. Karl der Große wollte Mirat zur Übergabe zwingen und die Verteidiger aushungern. Die Lebensmittel reichten nur noch für kurze Zeit. Trotzdem demonstrierten die Sarazenen ihren Verteidigungswillen. Die Legende erzählt, dass ein Adler eine Forelle vor die Füße von Mirat fallen lies. Der Fisch wurde Karl dem Großen geschenkt damit er glaubte, dass die Burg noch über ausreichend Nahrung verfügt. Dieser Vorgang wurde im Stadtwappen von Lourdes, in dem sich Fische befinden, aufgenommen.
Weiter berichtet die Überlieferung, dass der Bischof von Le Puy, der Hüter des ältesten Marienheiligtums in Südfrankreich, als Unterhändler Mirat überzeugte und zum christlichen Glauben führte.
Bei der Taufe nahm Mirat den Namen "Lorus" an, aus dem schließlich "Lourdes" entstand.