Voorgeschiedenis
Op 2 november 1269 verleent Floris V de erfelijke rechten van Hillegersberg aan zijn leenman Vrancke Stoep (Frank Stoop). Het bezit van de heerlijkheid was erfelijk, maar kon ook worden verkocht en gekocht. Hetgeen geschiedde. In 1575 werd de gemeente Rotterdam eigenaar van de heerlijke rechten van o.a. Hillegersberg. De gemeenteraad van Rotterdam besloot op 24 november 1851 de heerlijkheid van Hillegersberg te verkopen. De verkoop vond plaats bij openbare veiling op 21 en 28 juli 1853.
Van 1853 tot heden
Vanaf 28 juli 1853 was ds. Jan Jacob van Voorst te Amsterdam in het bezit van de heerlijkheid Hillegersberg. Ds. Van Voorst verkocht de heerlijkheid op 9 juli 1861 aan mr. P.G.J. Hoog van ter Aar. Zijn weduwe liet de heerlijkheid veilen, deze kwam op 4 maart 1868 in handen van Leendert Pieter le Sage ten Broek, ontvanger der successierechten te Rotterdam. Hij wijzigde vervolgens zijn naam in Le Sage ten Broek van Hillegersberg. Zijn weduwe legateerde de heerlijkheid aan Jhr. ir. Paul Tieleman Marie Stoop te Den Haag. Stoop veranderde zijn naam in Stoop van Hillegersberg. Hij had geen mannelijke nakomelingen, zijn weduwe droeg de heerlijkheid over.
Op 22 maart 1949 kwam de heerlijkheid van Hillegersberg bij Martinus Hendrik de Gou te Den Haag. Na zijn overlijden op 4 januari 1958 ging de heerlijkheid van Hillegersberg over naar zijn zoon, mr. dr. Leonard de Gou, burgemeester van Venlo en lid van de Eerste Kamer.