Das Kloster wurde von Kaiser Ludwig dem Bayern im Graswangtal als Teil eines Gelöbnisses gegründet am 28. April 1330, dem Tag des Heiligen Vitalis.
Verbunden mit dem Gründungsgelübde waren auch ein Ausbau des Verkehrsweges nach Süden und die Erschließung der Gegend.