A ferencesek keszthelyi kolostorát a mohácsi csata után alakították végvárrá, a Rákóczi-szabadsághar után azonban lerombolták, a pusztulást csupán a rendház kerülte el.
Ennek új, barokk épületét 1723-1730 között emelték, majd többször átalakították. Mai eklektikus homlokzatát a 20. sz. elején kapta. 1800-tól gimnázium, ahol 1808-tól a premontrei rend tanított. 1892-1948 között a premontrei pap-tanárok háza (ma: Vajda János Gimnázium).