Am 1. September 1849 wurde schließlich vom damaligen Bezirk Schwaben eine Kreisirrenanstalt mit zunächst 80 Patienten in den ehemaligen Räumen des Klosters Irsee eingerichtet. Wie schon zuvor war mit dieser Institution wieder ein für Irsee bedeutender Wirtschaftsfaktor vor Ort. Zahlreiche Irseer Bürger hatten einen Arbeitsplatz in der Anstalt oder standen als Handwerker oder Dienstleister in Geschäftsbeziehungen. Um die Jahrhundertwende und nochmals um etwa 1920 erwägte man die Schließung der Anstalt, wozu es aber nicht kam.

Mit den Jahren des Dritten Reiches schlitterte die Heil- und Pflegeanstalt in Irsee zusammen mit der Hauptstelle in Kaufbeuren in ihr dunkelstes Kapitel seit Bestehen: die Euthanasie-Aktionen von 1939 bis 1945. Die unmenschliche Rassenideologie des Nationalsozialismus und die daraus folgenden Aktionen zur "Vernichtung unwerten Lebens" werden auch in der Heil- und Pflegeanstalt in Irsee und Kaufbeuren praktiziert. Über 2000 Patienten (Erwachsene und Kinder) werden in Vernichtungsanstalten deportiert, sterben nach Verordnung einer fettlosen Hungerkost (E-Kost) oder werden mittels Spritzen und Überdosen von Medikamenten direkt umgebracht. Erst einige Wochen nach Kriegsende wurden die grausamen Aktionen der Euthanasie beendet.

Die Heil- und Pflegeanstalt machte einen Neuanfang. Mit der Zeit änderten sich in der Psychiatrie die Behandlungsmethoden. Die bloße Verwahrung der Patienten in der Anstalt wird nach und nach durch sinnvolle Arbeitstherapie ersetzt. Und so war es im Ort bald ein gewohnter Anblick, dass Patienten auf den Handwerks- und Gartenbaubetrieben der Anstalt bei der täglichen Arbeit mithalfen.