Huis ten Berghe (burcht, donjon, kasteel, nu: ruïne)
(van voor het jaar 1028)
Op de donk, een zandrug (rivierduin) in het veengebied, stond een woontoren (ook aangegeven als burcht, donjon en kasteel), Huis ten Berghe en een kerkgebouw (Nu: Hillegondakerk). De burcht van Hillegersberg- voorzien van slotgracht en omwalling - is van vòòr 1028. Ook wel is sprake van de bouw van het 'kasteel' rond het jaar 1240 dan wel 1269.
In 1028 bevestigde keizer Konraad in een oorkonde de gift van het dorp Bergan door de bisschoppen Ansfridus en Adelbold (van de Amersfoortse abdij van Hohorst) aan de abdij van St. Paulus te Utrecht. De stichting van de kerk van Hillegersberg dateert tenminste uit de vroege elfde eeuw, maar is mogelijk nog ouder. Kort na 1150 is de kerk waarschijnlijk herbouwd in een groot formaat stenen.
De burcht werd in 1426 verwoest
De 'burcht' ('het kasteel') bestond uit een woontoren van 10x10 meter, waar een 6 meter hoge motte van zand tegen was opgeworpen, op het rivierduin. De muurdikte is 1,35 meter, gemetseld van reuzenmoppen in Vlaams verband. Elke steen is 30x15x7,5 cm. Door de grote steen kreeg het kasteel ook wel de naam 'reuzenhuis'. De muren waren aangelegd op het natuurlijk maaiveld. De hierdoor ontstane kelderverdieping was vijf meter hoog en werd overkluisd door een dubbel tongewelf. De dikke muren wijzen erop dat het niet alleen als woning en statussymbool diende, maar ook een defensieve functie had.
Het Huis ten Berghe was vermoedelijk rond 1240 gebouwd door Willem Stoep (of Stoop). Het huis werd voor het eerst vermeld op 2 november 1269. Heer Vranke Stoep van Hildegardberghe kreeg van graaf Floris V toestemming de lenen die hij van de graaf hield ook via de vrouwelijke lijn te laten vererven. Na de dood van Vranke erfde zijn oudste dochter Aleyde, getrouwd met Gerard van Raephorst, het huis. Na verdere vererving kwam het huis in handen van Woute Gherijt van den Berghe. Deze beleende in 1387 het huis en 55 morgen land aan zijn broer Kerstant. Vermoedelijk verkocht Kerstant wegens financiële verplichtingen het bezit daarna aan zijn neef Adriaen van Matenesse. Hij was eigenaar van het 'Huis ten Berghe' als het in de Hoekse en Kabeljauwse twisten in 1426 door de troepen van Jacoba van Beieren onder leiding van Willem Nagel, baljuw van Kennemerland, grotendeels werd verwoest. De kerk viel aan brand ten offer en werd volledig verwoest.
De oudste beschrijving van het slot van Hillegersberg geeft de Kroniek van Simon Doedes van den Sluijs (1472): "Het slot Hillegersbergh is wel het grootste ende outste slot hier omtrent geweest. [...] Het slot is gebouwd eer datter sware dijcken om het land zijn geweest. [Bedoeld is hier de in de 13e eeuw aangelegde waterkering. ] Bargan of Hillegersberg was de oudste nederzetting tot ver in den omtrek.".
In de middeleeuwen ontstond een woongemeenschap rond het kasteel en de kerk op de heuvel. De heuvel bood bescherming tegen het op gezette tijden oprukkende water. De woongemeenschap bestond voor het merendeel uit houten huizen met rieten daken. In 1986 werden in het talud van de donk waarnemingen verricht waarbij aardewerk uit de 11e/12e eeuw werd gevonden. Aan de hand van archeologisch onderzoek in 1990 op een braakliggend perceel op de hoek van de Bergse Dorpsstraat en de Kerkstraat kon een bewoningslaag uit de Nieuwe Steentijd in de top van het donkzand worden vastgesteld: vondsten van aardewerk, vuurstenen werktuigen en houtskool.
Het Huis ten Berghe bestaat niet meer, dat wil zeggen, op het kerkhof van de Hillegondakerk staan nog een paar oude muren: de ruïne van wat eens de burcht van Hillegersberg was. Deze muren zijn in 1969 en 1970 geconserveerd. De hoogte varieert van 5 tot 11 meter. Er zijn sporen van een tweetal tongewelven en van een gemetselde wenteltrap. Deze trap is uitgespaard in de muurdikte.
Op de oude muren is een bijzondere plantengroei.