"Het Steen" werd opgetrokken in 1393 en gebruikt als stadsgevangenis tot midden 16de eeuw. Later verhuurde men het als opslagplaats aan het bakkersambacht, vanwaar de alternatieve benaming "Bakkerstoren". Tijdens de Franse overheersing werd het verkocht. In 1927 werd de bestaande gevelopening op de begane grond verbreed. Het gebouw is sinds 8 mei 1992 bij Ministerieel Besluit beschermd als monument.

Laat 14de-eeuwse traditionele torenvormige constructie van drie bouwlagen en één travee op een rechthoekige plattegrond, onder een zadeldak (pannen) met de nok loodrecht op de straat. Het is opgetrokken uit zandsteen met gebruik van baksteen voor de herstelling van de geveltop en heeft rechthoekige muuropeningen, op de begane grond verbreed en onder een ijzeren I-balk. De geveltop bevat een oogvormige muuropening.