Cette ancienne prison est l'ancien palais de Via. Ce palais, construit au XIVe siècle par Pierre Via, le beau-frère du pape Jean XXII (né à Cahors), été été réaménagé au XVIIe siècle où il devient une prison à partir de 1790. Vieille de plus de 200 ans d'histoire en tant que prison départementale, c'est la plus vieille prison de France