Au Moyen-âge, Ambialet devient le siège de la Vicomté des Trencavel, rivaux des Comtés de Toulouse puis fut occupé par Simon de Monfort pendant la croisade contre les Albigeois. Les comtes d’Albi ont construit une forteresse dont il reste des ruines.