Gebouwencomplex gerangschikt rondom een langgerekte, onregelmatige rechthoekige binnenplaats, gevat tussen Zilverenberg, Kalvermarkt, Volmolenstraat en Nieuwbrugkaai. Herenwoning van oud-senator Jan Vergauwen op de Zilverenberg met tuin die zich uitstrekte tot aan de Leie, in 1881 aangekocht door het bisdom; Sint-Lievenscollege, gesticht in 1863, van 1881 af in het oude herenhuis ondergebracht.

Voorgevel van acht traveeën - drie linker traveeën springen één travee uit ten opzichte van de vijf rechter traveeën - en - drie bouwlagen, onder zadeldak (Vlaamse pannen), uit de eerste helft van de 19de eeuw, doch met oudere kern vermoedelijk uit de 18de eeuw (zie achtergevel). Bepleisterde en witgeschilderde lijstgevel; horizontale geledingen gemarkeerd door doorlopende hardstenen cordons. Begane grond met imitatiebanden en doorlopende hardstenen kordons. Bovenvensters in omlijstingen en op tweede bouwlaag met rechte kroonlijst bekroond. Omlopend hoofdgestel met gelede architraaf, onversierde fries en kroonlijst met tandlijstversiering en klossen. Aanbouw links: trapgevel in traditionele stijl (zie Kalvermarkt zonder nummer). Achtergevel in Lodewijk XV-stijl, met zeven traveeën en twee bouwlagen, onder mansardedak (leien) voorzien van twee oeils-de-boeuf, daterend uit midden 18de eeuw. Verankerde, bepleisterde en geschilderde lijstgevel met dubbelhuisopstand. Hoger opgaand middenrisaliet van drie traveeën bekroond met driehoekig fronton op vier rocaillevormige consoles en voorzien van omlijste oculus waarin nu een uurwerk aangebracht is. Middentravee: uitspringende poorttravee met imitatiebanden. Rechthoekige vensters met vlakke omlijstingen. Spiegelboogvormige dakvensters. Venster in tweede travee gewijzigd tot deur. Rechthoekige koetspoort uit de eerste helft van de 19de eeuw ingeschreven in rechthoekige hardstenen omlijsting met neuten en luierikken, en pilastervormige rechtstanden die eenvoudig entablement dragen; beglaasde vleugeldeur met geometrisch houten traceerwerk. Gevelbekroning door middel van hoofdgestel met gelede architraaf, onversierde fries en kroonlijst.

Haaks op het 18de-eeuws herenhuis, werden in 1881 langs beide zijden van de tuin, twee bouwlagen hoge, bakstenen vleugels in neogotische stijl opgetrokken. Daarvan resteren de vleugels langsheen de Volmolenstraat: traveeën gescheiden door pseudo-pilasters en spitsboogvensters; gevel afgelijnd door baksteenfriezen. Rondboogpoort in Volmolenstraat ingeschreven in neobarokke hardstenen omlijsting bekroond met onderbroken fronton waartussen nis met Sint-Lievensbeeld onder gebogen fronton, uit het vierde kwart van de 19de eeuw.

De oude vleugel met kapel langs de overzijde van de binnenplaats werd circa 1965 vervangen door een nieuwe bakstenen vleugel van vier bouwlagen; ook langsheen de Volmolenstraat werd een gelijkaardige vleugel opgetrokken. Op de hoek van Volmolenstraat en Nieuwbrugkaai werd een nieuwe kapel gebouwd in 1965 naar ontwerp van architect Marc Dessauvage, een moderne bakstenen constructie die oude en nieuwe collegegebouwen verenigt.