In den Tagen um etwa 1180 hatten sich im Wald von Eiberg fromme Männer um den Einsiedler Heinrich geschart. Sie bauten eine Kapelle. Menschen aus nah und fern suchten bei den Waldbrüdern, zu denen sich auch ein Priester gesellt hatte, Trost und Hilfe. Markgraf Heinrich von Ursin-Ronsberg schenkte ihnen den Wald von Eiberg und erbat sich aus dem Kloster Isny den Mönch Wernher als Vorsteher für die Gemeinschaft, die nun nach der Regel des heiligen Benedikt leben sollte. Damit war das Kloster Irsee 1182 gegründet. Obwohl eine Urkunde über diese Stiftung wohl nie ausgestellt wurde, gilt dieses Jahr als das Gründungsjahr von Kloster und Ort. Im Jahr 1185 überließ Markgraf Heinrich den frommen Brüdern die längst verlassene Stammburg Ursin oben am Berg. Schon wenige Jahre später beschlossen die Mönche unter ihrem ersten Abt Cuono einen Neubau im Tal, wo ihnen das Wasser zufloss, statt es bergan tragen zu müssen. Nach einem Jahrhundert des Erblühens der neuen Abtei folgten schwere Zeiten. Missernten, Teuerungen, Hungersnot, Kriegsnöte, Belagerungen und prachtliebende Äbte brachten das Irseer Kloster an den Rand des Ruins. Um etwa 1370 wirtschaftete Abt Peter von Baisweil das Kloster so sehr herunter, dass die Mönche in fremden Klöstern Zuflucht suchen mussten. Mit Einwilligung des Bischofs von Augsburg nahm die Burgherrin und Vögtin von Kemnath, Maria Ellerbach, die Leitung des Klosters in ihre Hand und sanierte es in 20-jähriger mustergültiger Verwaltungsarbeit. Im späten Mittelalter zählte die Abtei Irsee zu den bedeutendsten im Bistum Augsburg.