Het voormalige kasteel van Middelburg werd gebouwd in een gehucht van de parochie Heille (nu Nederland) op de plaats van een hoeveuitbating die de abdij van Middelburg in Zeeland er circa 1280 begonnen was. Circa 1440 werd de hoeve, toen in eigendom van zijn schoonbroer, gekocht door Pieter Bladelin, financieel expert van de Bourgondische hertogen en schatbewaarder van de Orde van het Gulden Vlies. In 1444 werd het Hof van Middelburg door Filips de Goede geoctrooieerd als leen, afhangende van de Burg van Brugge. In 1448-1450 liet Pieter Bladelin een kasteel bouwen. In de volgende jaren wordt met een kerk, stadhuis, hospitaal, klooster, burgerhuizen en stadsmuren het stadje opgebouwd dat in 1458 stadsrechten verkreeg. Pieter Bladelin, ondertussen in de ridderstand verheven, stierf in 1472, zijn weduwe 4 jaar later. De erfgenamen van Bladelin verkochten Middelburg in 1476 aan Guillaume Hugonet (de Saillant), kanselier van Bourgondië. In de opstand van de steden tegen Maximiliaan van Oostenrijk, werd het kasteel als toonbeeld van zijn macht, in 1488 vernietigd. Door de verzanding van het Zwin, die de ondergang betekende voor stadjes als Damme en Monnikerede en zelfs Brugge, was ook Middelburg niet langer aantrekkelijk. De godsdienstoorlogen brachten het een tweede, zeer zware slag toe, en in 1604 zou langs Middelburg, na alweer een plundering en verwoesting, de grens tussen Spaans en Staats-Hollands gebied vastgelegd worden. In de volgende eeuwen werd Middelburg talloze keren geteisterd door militaire bezetting (onder andere Fransen) of oorlogsgeweld en door overstromingen veroorzaakt door natuurgeweld of vijandelijkheden. Een laatste keer werd Middelburg, ondertussen een landelijk dorp, tijdens de beschietingen van oktober 1944 compleet tot een ruïne herleid.

De kaart van Jacob van Deventer (circa 1550) toont op de plaats van het kasteel een klein neerhof en een groot opperhof. Het opperhof kenmerkt zich door een vierhoekig kasteel, voorzien van torens op zeker twee hoeken, en een open binnenplaats. Rond het kasteel lag een brede gracht, een aarden wal en verderop nog een gracht die aansloot op de stadsgracht. Een Franse militaire kaart van 1610 toont ons eveneens een kasteel met tweeledige structuur. Alleen wordt het neerhof hier even groot afgebeeld als het opperhof, en met een identieke plattegrond. De plattegrond(en) wordt gekenmerkt door twee grote torens op de hoeken aan de voorzijde van het kasteel, en een ingangspartij bestaande uit de toegangsbrug en twee (kleinere) flankeertorens. Uit recente opgravingen is echter gebleken dat dit beeld enigszins moet worden bijgesteld.

Karel Verschelde beschrijft in zijn "Geschiedenis van Middelburg in Vlaenderen"” van 1867 het kasteeldomein als een opper- en een neerhof, voorbij de poort betrad men het neerhof betrad, en de aanwezigheid van een kruidentuin, een siertuin en een galerij.

De oudste gegevens over het kasteel komen van Bladelin zelf. Ze betreffen niet zozeer het gebouw, dan wel de bestemming die het na zijn dood moet krijgen. In zijn testament, opgesteld te Brugge op 27 maart 1472, duidt hij als erfgenaam van "mijne stede, heerlichede ende casteel van Middelburch" zijn neef Jan de Baenst aan, die ook "alle huusingen, woensten ende edifficien mij toebehorende, staende ende ligghende bin den bijvanghe van den voorseide stede ende casteele" zal krijgen, "behoudens dies dat vrauwe Margriete van de Vagheviere, mijne wettelijkcke gheselnede, zal hebben ende behouden haer woonste opt voorseide slot ende casteel van Middelburch, huer leven lanc gheduerende, up dat zie 't begheert...".

Ook in het verslag dat pastoor D'hooghe in 1587 redigeerde over het onheil dat de geuzen vanaf 1572 bij hun invallen in Middelburg aanrichtten, komt het kasteel meermaals ter sprake, het vermeldt elementen als het plein van het kasteel, een bovenverdieping, kasteel- en stadswal, op de kasteelwal een schuit en steiger met ooievaarsnest, een venster boven de kasteelpoort, een brouwerij of wijnkelder, verscheidene kamers.

Met dit alles komen we tot de conclusie dat het om een omwald en onderkelderd gebouw ging met zeker twee bovengrondse bouwlagen, dat er torens waren en een valbrug. Het kasteel was omstreeks 1750 geheel vervallen. Sindsdien werden uit de ruïne stenen weggehaald en elders aangewend voor woningen, schuren of stallingen.In 1903-04 werd noordelijk op het vroegere kasteeldomein het stationsgebouw opgetrokken voor de lijn Brugge – Moerkerke – Middelburg – Aardenburg. Het tramspoor, in de as van de Kasteelstraat, liep in feite over de plaats waar ooit het kasteel had gestaan. Tijdens de Tweede Wereldoorlog werd het uitgebroken. Vlak na de oorlog werden tegenover het station noodwoningen opgetrokken, en ook het station werd verbouwd tot woongelegenheid. Toen de noodwoningen verdwenen, veranderden de gronden in weiland. De laagte daarin, een restant van de vroegere kasteelwal, staat bij de inwoners van Middelburg bekend als de "Pulse". Door de inrichting van een verkaveling begin de jaren '90 en vooral door de bouw van de weg en de eerste woningen neemt het verhaal van de vernietiging van het kasteelsite een aanvang. Toen de wegenwerken voor de verkaveling in 1996 werden uitgevoerd, kwamen muurresten aan het licht. Bij de bouw van de eerste woning werden verschillende muren vernietigd. Bij de bouw van een tweede woning werden volgens de bouwheer geen muren vernietigd. Nochtans situeert het perceel zich (deels) op het neerhof van het kasteel. Niets sluit echter uit dat archeologische sporen van structuren in hout werden vernield.

Bij de opgravingen in 2002 kwam een deel van het toegangscomplex van het kasteel aan het licht, bestaande uit houten en stenen brugpijlers, een flankeertoren en een deel van de binnenconstructies van het kasteel. Verder kon een stuk van de walgracht worden onderzocht. Bij de campagnes in 2003 werd het onderzoek verder toegespitst op de hoek van de voorgevel met de zuidelijke buitenmuur en een deel van het binnenplein. Hierbij sprong vooral de grote hoektoren met zijdelingse traptoren in het oog. Op een bepaald moment (vermoedelijk tijdens één van de vele belegeringen) werd een bres geslagen in de zuidelijke buitenmuur. Bij de heropbouw werd een toegang met tongewelf in de muur uitgespaard. Op deze plaats werd tevens een aanlegsteigertje voor kleine vaartuigen in de walgracht aangelegd. Het binnenplein werd vermoedelijk tijdens en na de beide wereldoorlogen grondig verstoord. Zo dateert een afvalkuil met restanten van keukengerei en verzorgingsproducten vermoedelijk uit de periode na de Tweede Wereldoorlog, wanneer het terrein gebruikt werd voor het optrekken van noodwoningen. Enkele slecht bewaarde muurresten wijzen nog op de aanwezigheid van enkele binnenruimtes, geplaatst tegen de zuidelijke kasteelmuur. Verder werden zowel in 2002, 2003 en 2004 stiepen aangetroffen die wijzen op de aanwezigheid van een galerijstructuur, parallel aan de buitenmuur.

Het onderzoek tijdens de campagne 2004 concentreerde zich op de noordelijke buitenmuur, de walgracht aan deze zijde van het kasteel, en een deel van het neerhof. De noordelijke helft van het opperhof blijkt geen exact spiegelbeeld te zijn van de zuidelijke helft, zoals een aantal oude kaarten (waaronder de aanvankelijk als zeer betrouwbare geachte Franse kaart uit 1610) lieten vermoeden. De noordelijke grote hoektoren blijkt immers pal tegen de toegangspoort gelegen te hebben, op de plaats waar volgens de kaart van 1610 een identieke toren als de halfronde toren aan de overzijde van de poort zou gelegen hebben. Bijgevolg ziet het grondplan er compleet anders uit dan aanvankelijk werd aangenomen en is het kasteel bovendien veel kleiner. Het neerhof kreeg op de kaart van 1610 een totaal ander beeld dan op de oudere kaart van Van Deventer (1550). Op de oudere kaart wordt een klein neerhof weergegeven met een relatief klein gebouwtje, terwijl op de Franse kaart het neerhof een exacte kopie blijkt te zijn van het opperhof. Het neerhof wordt er zelf iets groter afgebeeld dan het opperhof. Volgens de huidige stand van onderzoek (najaar 2004) is het nog onmogelijk om een exact beeld van het reële neerhof te schetsen, hoewel de eerste summiere vaststellingen er op wijzen dat het uiteindelijke grondplan ook hier niet zal stroken met de beschikbare historische bronnen. Over het algemeen komt er een complexe bouwgeschiedenis naar voor, waarbij na de oorspronkelijke constructiefase uit 1448-1450, herhaalde aanpassingen werden uitgevoerd in de 16de en 17de eeuw, onder meer aan het poortgebouw en de zuidelijke buitenmuur.

Op sommige plaatsen zijn de muurresten tot 3cm onder het huidige maaiveld bewaard. Ze bestonden uit baksteenwerk voorzien van een parament in witte kalksteen tot net boven de waterlijn, vermoedelijk afkomstig van Gobertange (Brabant). De bakstenen werden uit kustklei gemaakt en hebben een relatief klein formaat (22 x 8 x 5cm). Op verschillende plaatsen werden stortkokers aangetroffen. De voorlopige materiaalstudie dateren de vondsten waarmee ze zijn opgevuld in de late 16de eeuw, de periode van de godsdienstoorlogen. Studie van aardewerk, metaal, glas en planten- en dierresten zal een gedetailleerd inzicht geven in het consumptiepatroon op de site tijdens de 16de eeuw.