Isolé à l’ouest du village, le château de Buy est un logis rectangulaire entouré d’un mur de clôture borné par quatre pavillons percés de meurtrières pendant la Réforme (vers 1560). Initialement maison forte, la demeure a été réédifiée durant le 17ème siècle avec une façade symétrique composée de 3 niveaux de 5 travées de fenêtre à linteau en arc segmentaire et d’un haut toit d’ardoise. Les dépendances du château sont constituées d’un long bâtiment bas qui prolongent le corps de logis sur sa droite. Les parties subsistantes de l’enceinte, les quatre tours d’angle (dont celle du colombier) et le puits dans la cour du château sont inscrits à l’inventaire des Monuments Historiques depuis 1997.