Créé en 1954 par V. Gautron du Coudray à partir de ses propres collections, le musée s'est enrichi au fil des années des sculptures d'Alfredo Pina, praticien de Rodin, d'objets décoratifs 1880-1930, d'outillage de tailleurs de limes, nombreux dans le canton au 19e siècle, et surtout du mobilier archéologique du grand prieuré clunisien de La Charité (11e-16e siècle).