Construit vers 1219 par Albin Wolflin, bailli impérial de Frédéric II de Hohenstaufen, il sert ensuite de résidence au grand bailli Conrad Werner de Hattstatt. Propriété des Ribeaupierre, il est endommagé en 1446 dans le conflit qui les oppose aux Hattstatt pour la domination de la région. Sa position stratégique lui a valu d’être un observatoire disputé par les Allemands et les Français lors de la Grande Guerre.