Volgens een legende is Hillegersberg ontstaan op de zandberg die reuzin Hillegonda veroorzaakte doordat haar schort waarin zij zand droeg, scheurde. Er bestaan verschillende versies van de legende, zo wordt ook verteld dat Hillegonda bij het verlies van haar zand twee tranen liet: de huidige Bergse Voor- en Achterplas...
De reuzin Hillegonda met gescheurd schort siert het Wapen van Hillegersberg. Dit wapen is bij besluit van de Hooge Raad van Adel op 20 februari 1816 bevestigd met de omschrijving: "zijnde van lazuur, beladen met een vrouwenbeeld, staande op een terras, alles van Goud".
Dit is mooi beschreven in “Souvenir aan Hillegondsberg”. Deze legende is ook verwoord in het Hillegondalied, sinds ca 1900 het 'volkslied' van Hillegersberg. Het werd bijvoorbeeld gezongen bij de jaarlijkse aubade voor de (toenmalige) burgemeester op Koninginnedag. Alle schoolkinderen leerden het uit het hoofd.
Eén van de variaties van de legende is: reuzin Vrouwe Hillegonde wilde op de plaats van het huidige kasteel een huis bouwen. Omdat ze de moerassige bodem niet vertrouwde nam ze duinzand mee in haar schort en stortte dat op de uitgezochte plaats. Vervolgens bouwde zij daar het kasteel, dat ook het "Reuzenhuis" werd genoemd.
Een andere variant is: de reuzenmaagd Hillegonde kreeg van haar vader de opdracht zand te brengen van de Veluwe naar de Hollanden. Dit zand moest daar worden gebracht om de woeste golven van de zee te bedwingen. Hillegonde nam het zand mee in haar schort, maar dit scheurde te midden van de Bergse Voor- en Achterplas. Een variant hierop is dat Hillegonde het zand is verloren toen zij moest vluchten vanuit de duinen en struikelde.
En zo zou de reuzin naamgeefster zijn van Hillegersberg. Simon Doedes van der Sluys, aartsdiaken en domproost van Utrecht meldt in zijn Beschrijving van Schieland uit 1472 dat volgens de overlevering op het in 1426 verwoeste slot te Hillegersberg "een proffetesse [had] gewoont, daar seer veel wonder aff geseyt werde, ende daar desen bergh synen name aff soude hebben'. Een vermoedelijk latere hand heeft daaraan toegevoegd: 'ende was genaamt Hillegaart". Ook Hadrianus Junius schrijft ca. 1566/70 dat hij ergens voorspellingen van de Bergse profetes Hildegardis gelezen had. Geen van beiden rept van een heilige. Een andere gedachte over de naamgever is dat St. Hillegasdis van Bingen (1098-1179) zou zijn. L.J. Rogier argumenteert dat de plaatsnaam teruggaat op een profane persoon (Hildeger, een man), vermoedelijk een bewoner van het slot op de heuvel, naast de kerk.
In het midden van de 17e eeuw wordt de kerkpatroon van Hillegersberg geïnterpreteerd als St. Hillegardis van Bingen. Zij was abdis van het klooster Rupertsberg bij Bingen en voerde een uitgebreide correspondentie met de machtigen van haar tijd. Hildegard is nooit formeel gecanoniseerd, maar werd in de 15e eeuw opgenomen in het Romeinse martyrologium. Haar cultus gaat tenminste terug tot de 13e eeuw. Het is wel zeker dat Hildegardis tijdens haar leven in contact heeft gestaan met de bisschop van Utrecht en anderen in dat bisdom, maar het middeleeuwse Hillegersberg heeft geen enkel spoor van een Hildegardisverering overgeleverd. Er zijn ook geen opgelegde bedevaarten bekend. Hoewel in 1243 Hildegardis' heiligverklaringsproces begon, is ze niet officieel gecanoniseerd.
Onder protestanten wordt sinds de 17e eeuw aan de naamsvorm Hillegonda de voorkeur gegeven boven Hildegardis. De oude dorpskerk staat bekend als de Hillegondakerk. Reeds sedert de late 15e eeuw wordt ook het dorp zelf wel Hillegondsberg genoemd. Het is niet bekend of deze voorkeur sinds de reformatie een impliciete polemiek tegen de verering van St. Hildegardis in zich draagt. Overigens wordt in recente folders van de N.H. Kerk over het kerkgebouw het vermeende patrocinium van St. Hildegardis als vaststaand aangenomen.
In 1890 werd de RK-parochie Hillegersberg opgericht. Het was de eerste nieuwe kerk op het grondgebied van Hillegersberg (overigens was de kerk sinds de grensaanpassing in 1904 in de gemeente Rotterdam komen te liggen). Het vermeende Hildegardis-patrocinium was intussen zo vast in het collectief geheugen gehecht dat bouwpastoor C.A. Hammer het in maart 1890 geopende hulpkerkje met instemming van de bisschop van Haarlem aan St. Hildegardis toewijdde. Op de eerste feestdag van de kerkpatrones (17 september 1890) werd de cultus officieel gestart met een preek van prof. J.A. de Rijk, waarin op de veronderstelde continuïteit met de middeleeuwen werd gewezen. Ook leverde hij het 'Jubellied tot de H. Hildegarde'.