De historische stadsstructuur bleef in het huidige stratenpatroon en in tal van historische architecturale resten duidelijk bewaard. Het stadje vertoont een vrij onregelmatig dambordschema.

De stad was voorzien van een drieledige omwalling, waarvan verscheidene resten bewaard bleven (muren, grachten, een poort, een vestingtoren) en waarvan het tracee nog duidelijk in het huidige straatbeeld is af te lezen.

De eerste omwalling, daterend van 1607, omvatte het domein van het kasteel en de huidige Kanaalstraat, van deze versterking bleef een gedeelte der grachten bewaard bij het kasteel en Oude God, een hoektoren in het park van de psychiatrische instelling waartoe het kasteel van Rekem thans hoort, en een poort namelijk de Uikhover in Oude god.

De tweede omwalling, opgetrokken door graaf Ernest d’Aspremont-Lynden in 1625-1630, ommuurde de ganse stad met als grens de huidige Walstraat en met aan de westzijde de thans verdwenen Bovenste poort, ook Sint-Gobertuspoort, Bospoort, Maastrichterpoort, Rappepoort en Paterspoort genaamd.

Als bijkomende versterking voor het kasteel liet graaf Ferdinand d’Aspremont-Lynden tussen de twee hogervermelde omheiningen in 1638 een derde wal bouwen met aan het einde van de Herestraat de Middelpoort, ook Ferdinandpoort, Aspremontpoort en Isabellapoort genoemd, die tot in 1862 bleef staan. Van deze omheining bleven resten in de Schijfstraat en in de tuin van het huis gelegen Patersstraat nummer 5. Deze wallen waren tevens voorzien van een grachtensysteem, dat zijn water opving van de Siepbeek en de Groenstraatbeek; van deze grachten zijn eveneens op verschillende plaatsen resten bewaard. Deze afbraak van de muren begon in 1821 en was is 1836 voltooid, op de hoger vernoemde delen na. Het tracee van de omwalling bleef vrij gaaf bewaard in het huidige stratenpatroon.