Durant l'ère romantique, cette demeure était la propriété de Bertin l'Aîné, mécène et directeur du "Journal des Débats". De 1815 à 1841, son salon littéraire accueillait l'élite politique et artistique, de Chateaubriand à Liszt. Victor Hugo, ami proche de la famille Bertin, était un habitué du Château des Roches, sa demeure préférée.