Voormalig schuttershof van de in 1490 opgerichte Kolveniersgilde, hier gevestigd sinds de 16de eeuw en gebruikt als "speelhof" en "schietplaetse" met een gelijkvloerse galerij uitziend op de tuin. Dit sinds 1942 grotendeels blootgelegde en in 1975-1980 gerestaureerde gebouw, werd tussen 1631 en 1636 in barokstijl opgetrokken, mogelijk onder leiding van de Antwerpse meester Cornelis van den Eynde (1586-1664). Na een brand in 1737, restaureerde Jan Pieter van Baurscheit het Kolveniershof in 1742, met toevoeging siermotieven en consoles. Mogelijk ontwierp hij ook het fronton met oculus. Als nationaal goed verkocht in 1798, diende het als vergaderzaal, herberg en magazijn waarna het eigendom omstreeks 1830 werd verkocht in zeven loten en totaal ingebouwd. De afbraak van dit complex in 1942 leidde tot de herontdekking en vrijmaking van het Kolveniershof. Sinds 1948 eigendom van de Stad Antwerpen, werd het gebouw in 1975-1980 onder leiding van de architect Jos Gabriëls gerestaureerd, als zetel van het Rubenianum. Gabriëls ontwierp ook een nieuwbouwvleugel, en tuinarchitect René Latinne tekende voor de tuinaanleg. Het documentatiecentrum voor de studie van Rubens en de kunst van zijn tijd, opende zijn deuren in 1981.

Palend aan de tuin van het Rubenshuis, is het bouwwerk dwars op de straat gesitueerd met de zuidgevel als hoofdgevel, uitziend op de tuin en het voormalige schuttershof. Deze voorname vroeg-barokke gevel, gereconstrueerd op basis van de bewaarde ordonnantie, vertoont een bijzonder symmetrische en evenwichtige opbouw met een classicistisch karakter. Lijstgevel van zandsteen en blauwe hardsteen, acht traveeën breed en twee bouwlagen hoog onder een leien schilddak. Hardstenen benedenverdieping geopend door een arcade met brede rondbogen, opgevangen door fraaie Toscaanse zuilen onder een klassiek hoofdgestel; in de boogzwikken het wapen van de Kolveniers in bas-reliëf. Op de bovenverdieping acht zeer hoge kruisvensters in hardstenen omlijstingen met geprofileerd beloop, onder driehoekige frontons op consoles. De horizontale opbouw wordt enigszins doorbroken door middel van het tijdens de 18de eeuw aangebrachte, bekronend centraal fronton boven de drie middentraveeën, rustend op vier prachtige consoles en geopend door een ronde oculus. Eenvoudige gevelbeëindiging door middel van een geprofileerde daklijst van zandsteen.

Aan de straatzijde: eenzelfde ordonnantie van vier traveeën. Rechthoekige benedenvensters in hardstenen geblokte omlijsting en bovenvensters in platte bandomlijstingen met oren en neuten onder gebogen frontons.

Het interieur is totaal vernieuwd.