De pastorie werd ontworpen door architect Henri Valcke in 1907 in een fraaie neogotische stijl en opgetrokken uit dezelfde oranjerode baksteen in harmonie met de kerk en het kloostergebouw rechts ervan. Een gedenksteen in de achtergevel vermeldt: "Pastoor Andries, Buggenhout - Opstal, 1907" als opdrachtgever. De pastorie werd opgetrokken rechts van de kerk en was oorspronkelijk van de straat afgesloten door een lage muur met fraaie ijzeren hekken. Heden sluit een lage bakstenen muur met ezelsrug de voortuin af.

De pastorie is een typisch dubbelhuis op rechthoekig grondplan en bestaat uit twee bouwlagen in baksteen gecombineerd met blauwe hardsteen voor lateien, dorpels en kleinere decoratieve elementen. De gevels worden gemarkeerd door trapgevels en afgelijnd met een overhoekse muizentandfries. Het gebouw heeft een leien schilddak met vier grote schouwen. In de voor- en linkerzijgevel zijn er twee getrapte dakkapellen.

De voorgevel van de pastorie bestaat uit vijf traveeën met centraal een toegangsdeur met een bovenlicht met deelzuiltje. De deur wordt voorafgegaan door een kleine trap. De twee traveeën aan de linkerkant worden bekroond door een trapgevel met Brugse travee-indeling. Kenmerkende boogvelden met ingeschreven boogfriesen sieren de borstweringen. Het schrijnwerk van de rechthoekige vensteropeningen is vernieuwd. In de rechtertravee zijn er twee keldervensters.

Op de hoek met de linkerzijgevel bevindt zich een kleine beeldnis met daarin een recent beeldje van Onze-Lieve-Vrouw.

De linkerzijgevel bestaat uit vier traveeën en heeft drie vensteropeningen en een blind venster. Tegen de achterkant werd een kleine annex onder lessenaarsdak aangebouwd. In de rechterzijgevel zijn er eveneens drie vensteropeningen. De achtergevel wordt aan het zicht onttrokken door de beplanting in de tuin.