Mitte des 20. Jahrhunderts erreichte der Fortbestand der Heil- und Pflegeanstalt bereits über 100 Jahre. Die Bausubstanz des ehemaligen Klostergebäudes war durch die strapazierende Nutzung abgewirtschaftet und durch Bodensenkungen stellenweise einsturzgefährdet. 1965 beschloss der Bezirk Schwaben die Schließung der Anstalt mit anschließendem Abbruch der Klostergebäude. Zunächst mussten jedoch alle Patienten verlegt werden, was schließlich noch weitere sieben Jahre dauerte. Eine Wartezeit, die für Irsee eine glückliche Wende herbeiführte. Der Bezirkstag revidierte seinen zuvor gefassten Beschluss zum Abbruch und entschied sich 1974 für die Einrichtung eines schwäbischen Bildungszentrums im ehemaligen Kloster Irsee. Die umfangreichen Renovierungsmaßnahmen von Klostergebäude und -kirche konnten 1981 abgeschlossen werden und somit ein weiteres Kapitel beginnen.
Seit nunmehr 35 Jahren (2016) erarbeitet sich nun das "neue" Kloster Irsee als Bildungseinrichtung des Bezirks Schwaben einen Ruf, der über Schwaben hinaus Gäste aus der ganzen Welt zu Tagungen und Seminaren in die alten Klostermauern zieht, in denen Kunst und Kultur wie zu Zeiten der Benediktiner einen hohen Stellenwert genießen.
