De Bedelorde werd in de stad toegelaten in 1669. In 1671 werd de opbouw van de kerk en klooster aangevat naar ontwerp van Gillis van Aelst. Het ensemble diende volledig heropgebouwd na de brand van 1793.

Na de opheffing van de orde in 1795 werden de gebouwen geveild in 1796. Aldus kwamen ze vooreerst in het bezit van verscheidene particulieren; later echter werd het stedelijk bestuur enig eigenaar van het complex en liet ter plaatse van de voormalige gebouwen, het weeshuis oprichten (19de eeuw).

In deze vorm, groot gebouw met streng en monumentaal uitzicht; trapezoïdaal grondplan dat drie vleugels omvat, gericht op een zwaar voorportaal op ionische zuilen. Neoclassicistisch ensemble van zandsteen gedagtekend 1835 op het hoofdgestel (architect Drossaert ?).