Bâtie sur les vestiges encore visibles d’une villa gallo-romaine, cette châtellenie médiévale a conservé sa muraille avec ses créneaux, son chemin de ronde et ses échauguettes. Le Château de Fontenay est inscrit aux Monuments Historiques depuis 1947.
