Stichting in 1619 van een school op "De Raeme" en vestiging in de Pontstraat in 1622 door de bouw van het schoollokaal en het patershuis. Aankoop in 1625 van de eigendom van Mattijs Persoons waarop in 1716 de refter werd bijgebouwd en, in 1630, dat van Weduwe Terlinden waar een klasgebouw opgetrokken werd dat oorspronkelijk een galerij op zuilen bezat; P. Boele en Broeder H. Van Hamme zorgen in 1719 voor de opbouw van de kerk. Afschaffing van de orde gedurende 1773-1830. Het college fungeerde tot 1794 als "Theresiaans College en Landspensionaat" en bekwam in 1779-82 een groot pensionaatsgebouw aan de Klapstraat naar ontwerp van architect Louis-Joseph Montoyer, dat voor die tijd stijlbewust was opgevat. Anonieme pentekening van 1780-1790. Gedurende 1794-1813 werden in een gedeelte van het "College Municipal" (dat tevens "Gendarmerie nationale" was), paardenstallen ondergebracht waarvan de dichtgemetselde poort in de Klapstraat nog getuigt. Als "Gymnasium Alostanum" (Hollands Bewind, 1815-1830) genoot het internationale faam en herstellingen.

Volgende uitbreidingen: grote theaterzaal in 1871, in 1937 vervangen door de studiezaal der internen; sacristie in 1880 in het verlengde van het patershuis; voorbereidende klassen in 1881 in 1937 vervangen door de muzieklokalen; studiezaal in het verlengde van de sacristie in 1907; turnzaal in 1911, in 1927 vervangen door de lagere school en hoger opgetrokken in 1959 en 1967. Groot klassengebouw en nieuwe ingang in 1937 (naar ontwerp van architect Adrien Bressers) waardoor enkele oudere gebouwen verdwenen; de oude collegegevel kreeg tevens een nieuwe banale bekleding. Nieuwe bouw in 1964 op de hoek tegenover de Sint-Martinuskerk (naar ontwerp van architecten L. Devos en Jacques Kint) en een vijf verdiepingen hoog gebouw haaks op de Pontstraat. Restauratie en zandstralen van de oude voorgevel in 1975.

Oud Collegegebouw van 1622. Twee bouwlagen en vijf traveeën onder zadeldak (nok parallel aan de straat, leien), daterend uit het eerste kwart van de 17de eeuw. Verankerde barokgevel van bak- en zandsteen op afgeschuinde sokkel van zandsteen; geprofileerde puilijst; kroonlijst op smalle modillons. Steekboogvensters in uitgewerkte omlijstingen met oren en neuten, posten boven- en onderaan versierd met smalle spiralen; volutevormige sluitstenen; smalle druiplijsten met oren en smalle afgeschuinde lekdrempels. Lage schouderboogdeur in een geprofileerde omlijsting verrijkt met gefrijnde neuten, blokken en oren waarop gestileerde siervazen; klein klauwstuk onderaan het riempje dat de posten afbiest, bovenaan uitlopend op een kort spiraalmotief; korte sterk geprofileerde druiplijst met een, tussen vleugelstukken gevatte, ovale cartouche met inscriptie JHS, onder een puntvormige geprofileerde lijst met gestrekte uiteinden. Voorheen bepleisterde en blinde deuropening. Vormt stijlvol geheel met kerkgevel rechts.

Patershuis van 1716. Drie bouwlagen en zeven traveeën onder zadeldak (kunstleien). Verankerde gevel op zandstenen plint. Zandstenen steigergaten en daklijst. Getoogde muuropeningen in bakstenen omlijstingen met oren en geprofileerde druiplijsten. Gedecapeerd en gezandstraald in 1975. Klasgebouw uit midden 17de eeuw. Oorspronkelijk negen traveeën en drie bouwlagen onder zadeldak (kunstleien) met latere mansardeverdieping. Verankerde bakstenen achtergevel op plint van witte natuursteen. Zandstenen vlakke cordons tussen de penanten en als markering van de bouwlagen. Zandstenen daklijst. Rechthoekige vensters in omlijstingen van zandsteen met kwarthol. Onderdorpels soms vernieuwd met arduin. Latere links gelegen rondboogpoort en rechthoekige deuren (voorheen vensters). Aansluitend gebouw rechts van twee traveeën, vijf bouwlagen onder schilddak (kunstleien). Achtergevel op natuurstenen plint. Zandstenen hoekstenen en vlakke cordons. Rechthoekige vensters in zandstenen omlijstingen. Nieuwe voorgevel in 1937.

Refter van 1716. Drie bouwlagen, zes traveeën onder zadeldak met dakkapellen. Geelbeschilderde verankerde gevel op bepleisterde plint. Bewaard lelieanker rechts. Getoogde vensters in bakstenen omlijstingen met oren en neuten. Twee latere rondboogdeuren in linker travee.

Sint-Jozefkerk. Bakstenen zaalkerk met barokke voorgevel van baksteen en Balegemse steen, gedateerd 1730 door middel van muurankers in geveltop. Eenbeukig schip van vier traveeën met apsis van drie schuine traveeën. Voorgevel met drie geledingen gemarkeerd door gekorniste hoofdgestellen steunend op vlakke pilasters op hoge sokkels, eenvoudige abaci in benedenverdieping en komposietkapitelen in bovenverdieping. Trigliefenfries in benedenverdieping. Halsgevel bekroond met gebroken fronton en vleugelstukken, in het midden IHS in medaillon, muurankers 1730 in de zwikken. Panelen in de zijtravee. Segmentboogvormig bovenvenster in middentravee, vlak omlijst en met druiplijst. Deuromlijsting van arduin naar het voorbeeld van het oude collegegebouw, bekroond met cartouche tussen voluten en met boogfronton en inscriptie "Sancto Josepho Sacrum". Voorgevel gezandstraald in 1975. Eenvoudige zijgevel met zandstenen steigergaten en steekboogvensters. Vrij rijk aandoend interieur. Overwelving door middel van tongewelf voor het schip en een halve koepel voor de apsis. Gordelbogen met stucversiering opgevangen door consoles. Omlopende gekorniste kroonlijst waaronder neerhangende lamberkijnen. Mobilair: Schilderijen: "De Vlucht naar Egypte" (circa 1850) van Broeder Quartier en "De Geboorte van Christus" van Pieter Carael (1837-84}. Kruisweg in witte steen van Pieter Devoort (1850). Ovale schilderijen onder lamberkijnen (19de eeuw). Neogotische beelden van Maria en Jozef (1870). Meubilair: hoofdaltaar is een houten kopie van het Sint-Ignatiusaltaar uit de Gesu-kerk te Rome. Lambrisering en biechtstoelen van 1732. Preekstoel van P. Devoort van 1850. Orgel uit het atelier P. Scheyven van 1891. Crypte (links) in gebruik genomen tussen 1730-1773.

Internaatsgebouw (pensionaatsgebouw). Indrukwekkend streng classicistisch gebouw naar ontwerp van L. Montoyer van 1779-1782. Oorspronkelijk twee, heden drie bouwlagen (nok parallel aan de Klapstraat). Het centrale gedeelte van vijf traveeën onder zadeldak (leien) met zandstenen gevelbekleding aan de speelplaats, is in nagenoeg oorspronkelijke staat bewaard. Pilasterindeling en entablement met mezzaninovensters bekroond met een groot driehoekig fronton met het wapenschild van het graafschap Aalst (het mooiste van de drie nog bestaande exemplaren). Rondboogvormige benedenvensters met vlakke onderdorpels, posten opgevat als pilasters, geprofileerde druiplijsten met sluitsteen. Oorspronkelijke kapel (bovenverdieping) met rondboogvensters heden verbouwd tot twee bouwlagen met rechthoekige vensters met lekdrempels. In het verlengde: zijvleugels van drie bouwlagen en telkens negen traveeën, onder mansardedak (leien). Bepleisterde en witgeschilderde gevel. Galerij van rondbogen op zandstenen vierkante pilasters (bakstenen tongewelven), in de rechter vleugel verbouwd tot rondboogvensters en -deuren. Eenvoudige cordons tussen de bouwlagen. Rechthoekige bovenvensters. Achtergevel van vier bouwlagen in de Klapstraat. Latere rechthoekige vensters met arduinen onderdorpels (19de eeuw?). Gedichte rechthoekige deur met zandstenen hoekstenen. Oude deur met opschrift "Alosti primum sinon cognoscis alumnum lege / infra en tempus cum nomine picta/ Franc./ Ignat./ Eeman/ 1780" nu ondergebracht in nieuw gebouw. Aansluitend bij het patershuis en onder doorgetrokken zadeldak (leien): gebouw uit 1880 van vier traveeën en drie bouwlagen. Plint met zandstenen plintboord. Gelijksoortige vensters als in het Patershuis doch met gerestaureerde arduinen lekdrempels en gecementeerde geschilderde druiplijsten. Rondboogdeur met gecementeerde en geprofileerde rondboogvormige druiplijst met oren en erboven een gestrekte druiplijst