Couvent de 1626 à 1793 puis il accueille les soldats français jusqu'en 1806 puis des collégiens (collège royal de 1806 à 1839). Les capucins retrouvent leur couvent de 1849 à 1903, date à laquelle l'édifice est abandonné avant d'être racheté par la ville.