Appelée « Porte de Haut » ou « Porte Jeanne d’Arc » en souvenir de son passage en décembre 1430, c’est un des vestiges les plus anciens de la Ville. Les tours, datées du 11ème , existent déjà lors de l’escale forcée de la flotte de Guillaume de Normandie en 1066. L’ensemble était constitué de deux tours rondes massives, avec consoles et mâchicoulis, deux corps de bâtiments avec un étage et des souterrains qui servaient de corps de garde et de prisons, un pont levis disparu en 1614, et des ouvrages de défense avancés aujourd’hui disparus. L’arcade ogivale a été édifiée en 1785 et un pan de courtine subsiste encore. Sur les murs pousse en été un œillet rose appelé « l’œillet des croisades ».