Voorheen de zogenaamde Harmoniestraat; de huidige benaming naar Xavier Buisset, burgemeester van Vilvoorde in de periode 1906-1920, dateert van 1946; het was onder zijn burgemeesterschap dat de stad de verkaveling van het d’Aubremédomein, waartoe ook de Xavier Buissetstraat behoorde, verder uitwerkte, zie d’Aubreméstraat. Gelegen in de stationswijk als rechtstreekse verbinding tussen de Leuvensestraat, de middeleeuwse hoofdas van de gemeente, en het station. Aanvankelijk de meest residentiële straat in deze buurt met een bebouwing die voornamelijk dateert uit het laatste kwart van de 19de eeuw; op de plattegrond van Vilvoorde, opgemaakt door J. Waroquiers in 1906, is de straat op het begin na volledig volgebouwd.

De gedeeltelijk vrij homogene straatwanden bestaan overwegend uit enkelhuizen met neoclassicistische lijstgevels, die een zekere dynamiek verkregen door het gebruik van balkons met ijzeren leuningen, zoals de nummers 24, 26, 27, 29, 33, 35, 39, 43, 54, 56; ijzerwerk werd trouwens ook aangewend in de decoratieve uitwerking van voetschrapers, traliewerk van vensters en deuren en muurankers. De oorspronkelijke bepleistering moest in enkele gevallen plaats maken voor een nieuw parement, elders werden de gevels gedecapeerd. De bouwhoogte, meestal beperkt tot twee of drie bouwlagen wordt sporadisch onderbroken voor enkele schaalbrekende flatgebouwen, zo wordt het begin van de straat aan oneven zijde ingenomen door een flatgebouw uit de jaren 1960 en een reeks huizen met art-deco-elementen (nummer 3 tot nummer 15); de nummers 13 en 15 werden op het kadaster ingetekend in 1937 op voorheen onbebouwde percelen.