Des remparts de l'ancienne ville fortifiée ne subsistent que ces deux tours. Le château et les fortifications sont apparus au Moyen-Âge avec l'implantation et le règne brillant des Seigneurs de Boulay. Aujourd'hui, de nombreux lieux et rues de la ville ont gardé les dénominations et le cachet de cette époque, telles les rues du Four Banal, du Pressoir, du Chaudron, de la Dîme, du Marché au Blé. On peut les observer en empruntant le circuit "Les Dames Dadas" (9,9 km).
