De burcht van Hillegersberg
(van voor het jaar 1028)
Op de donk, een zandrug (rivierduin) in het veengebied, stond een woontoren (ook aangegeven als burcht, donjon en kasteel), Huis ten Berghe en een kerkgebouw (Nu: Hillegondakerk).
De burcht van Hillegersberg- voorzien van slotgracht en omwalling - is van vòòr 1028. In 1028 bevestigde keizer Konraad in een oorkonde de gift van het dorp Bergan door de bisschoppen Ansfridus en Adelbold (van de Amersfoortse abdij van Hohorst) aan de abdij van St. Paulus te Utrecht.
De stichting van de kerk van Hillegersberg dateert tenminste uit de vroege elfde eeuw, maar is mogelijk nog ouder. Kort na 1150 is de kerk waarschijnlijk herbouwd in een groot formaat stenen. Ca. 1240 werd naast de parochiekerk op de donk een stenen woontoren gebouwd. Ook wel is sprake van de bouw van het 'kasteel' rond het jaar 1269.
De burcht werd in 1426 verwoest
De 'burcht' ('het kasteel') bestond uit een woontoren van 10x10 meter, waar een 6 meter hoge motte van zand tegen was opgeworpen, op het rivierduin. De muren waren aangelegd op het natuurlijk maaiveld. De hierdoor ontstane kelderverdieping was vijf meter hoog en werd overkluisd door een dubbel tongewelf. De dikke muren wijzen erop dat het niet alleen als woning en statussymbool diende, maar ook een defensieve functie had. Als eerste bezitter van het 'kasteel' wordt genoemd Kerstant van den Berge (1343).
In de middeleeuwen ontstond een woongemeenschap rond het kasteel en de kerk op de heuvel. De heuvel bood bescherming tegen het op gezette tijden oprukkende water. De woongemeenschap bestond voor het merendeel uit houten huizen met rieten daken. In 1986 werden in het talud van de donk waarnemingen verricht waarbij aardewerk uit de 11e/12e eeuw werd gevonden. Aan de hand van archeologisch onderzoek in 1990 op een braakliggend perceel op de hoek van de Bergse Dorpsstraat en de Kerkstraat kon een bewoningslaag uit de Nieuwe Steentijd in de top van het donkzand worden vastgesteld: vondsten van aardewerk, vuurstenen werktuigen en houtskool.
In de Divisiekroniek van 1517 wordt vermeld dat het "Huis ten Berghe" in 1426 door de legers van Jacoba van Beieren werd verwoest in de Hoekse en Kabeljauwse twisten. De Hoekse krijgsoverste van Jacoba van Beieren, Willem Nagel, baljuw van Kennemerland, verwoestte de kastelen Kralingen, Spangen, Starrenburg, Kapelle, Spieringshoek, Weena en Hillegersberg. De kerk viel aan brand ten offer en werd volledig verwoest.
In de loop van de vijftiende eeuw werd de kerk herbouwd: de Hillegondakerk. De Hillegondakerk is door de eeuwen heen gefaseerd vergroot, verbouwd en grondig gerestaureerd. De ruïne van het kasteel werd in 1969 gerestaureerd.
Het Huis ten Berghe bestaat niet meer, dat wil zeggen, op het kerkhof van de Hillegondakerk staan nog een paar oude muren: de ruïne van wat eens de burcht van Hillegersberg was. Deze muren zijn in 1969 en 1970 geconserveerd. Het muurwerk is ca. 10x10 meter, de muurdikte is 1,35 meter, gemetseld van reuzenmoppen in Vlaams verband. Elke steen is 30x15x7,5 cm. Door de grote steen kreeg het kasteel ook wel de naam 'reuzenhuis'. De hoogte varieert van 5 tot 11 meter. Er zijn sporen van een tweetal tongewelven en van een gemetselde wenteltrap. Deze trap is uitgespaard in de muurdikte.