Le quartier du château était entouré de deux murs d’enceinte avec deux portes-tours.
Seule la première, datant du XVe siècle, existe encore.
La deuxième, datant du XIIIe siècle, se trouvait à l’entrée de la rue du Château, en face de la tour des Sorcières.
La porte-tour actuelle doit son nom, « Tour des Sorcières », à une confusion sur les cartes postales avec la véritable tour, qui existait encore.
Cette belle porte n’a jamais servi de prison et n’a jamais hébergé de sorcière.
La partie supérieure de la porte-tour est remaniée vers 1830.
À la fin du XVIIIe siècle, le quartier du château ne sert plus de refuge aux villageois. La porte-tour est alors louée comme habitation, puis vendue à la Révolution.
Elle reste privée jusqu’en 1908, dans un mauvais état, puis est vendue à la commune.
Après restauration, elle est de nouveau louée et habitée jusqu’en 1962.