Construit en l'an 1000, il est le berceau de la ville de Châtillon. D'une construction modeste, il fût amélioré par les Seigneurs successifs avant d’être rasé en 1598. Seuls les vestiges des remparts subsistent. Joli panorama sur la cité médiévale.
Seules subsistent l'enceinte avec sa porte d'ogive, et les bases de six tours sur les sept qui existaient.