De la forteresse des damoiseaux de Commercy, il ne subsiste que des éléments de l’enceinte extérieure, réutilisés à la fin du 17ème siècle comme soubassement d’une résidence princière. Les travaux furent lancés par le Cardinal de Retz, dernier damoiseau, exilé sur ses terres de Commercy par Louis XIV. C’est ici qu’il rédigea les « Mémoires » qui l’ont rendu célèbre. Le Prince de Vaudémont est le véritable créateur du château de Commercy. Familier du duc d’Orléans, il fait appel à ses architectes, Germain Boffrand et Nicolas Dorbay qui lui donnent sa physionomie actuelle et imaginent son prolongement urbain, le Fer à Cheval et l’avenue Stanislas. Le roi de Pologne y ajoutera les deux ailes basses, dessinées par Emmanuel Heré.