Déjà présent au XIIème siècle, le château de Saint-Brisson-sur-Loire est alors composé d’une tour maîtresse romane et de palissades. Mais en 1135, le Roi Louis VI de France assiège et ruine l’édifice.

C’est en 1210 que commence la construction d’une partie du bâtiment actuel par le Comte Etienne II de Sancerre, vice-chambellan royal.

Au XVIème siècle, le Château de Saint-Brisson devient la propriété de la Famille Séguier qui abandonne le côté défensif pour le transformer en demeure d’habitation.

Le Château de Saint-Brisson est légué à la commune de Saint-Brisson en 1987 par Anne de Ranst de Berchem. C’est à cette époque qu’il ouvre au public et que commence une série de lourds travaux de rénovation, réalisés par les bénévoles de l’Association des Amis du Château de Saint-Brisson.

En 2015, le Château de Saint- Brisson est vendu à la société Tous Au Château qui en assure depuis l’animation.