In het begin 19e eeuw werd de herberg omschreven als : "een hecht, sterk welgelegen huis [... met] tuin, boomgaard, bosch en land te samen groot ongeveer een en halve Morgen, zijnde zeer wel ingericht tot het houden van maaltijden. Staande en gelegen in den Blommendijkschen Polder, aan de Rotte, binnen de gemeente van Hillegondsberg en Rotteban, ongeveer een kwartier uurs van de stad Rotterdam".  

Hoogtepunten beleefde de herberg in de 18e eeuw met de ontvangst van de stadhouders Prins Willem IV en V. Prins Willem IV jaagde in het plassengebied jaagde en maakte tochten over de Rotte. Hij bezocht in 1747 de Bergse Molen, die daarna Prinsemolen werd genoemd. Prins Willem V bezocht met zijn gezin in juni 1779 de herberg naar aanleiding van de tewaterlating bij 's Lands Scheepstimmerwerf van het oorlogsschip de "Prins Frederik".

Met zijn keuken hoorde de herberg in de 17e en 18e eeuw tot de toprestaurants in de omgeving van Rotterdam. Maar ook later, toen het nog steeds een bekende uitspanning was, vormden de terrassen aan de oever van de Rotte een geliefkoosde plek. Onder anderen voor de wolwevers van de wolwasserij van Leers, Heer van Ameide. En voor de werkers van de zwavelraffinaderij van Verstolk, oud-schepen van Rotterdam. Verstolk bewoonde zelf de lustplaats "Stolkoord". 

Op de plaats aan de Rotte waar Den Oranjeboom stond is later de limonadefabriek Tims gebouwd, weer later was dat het gebouw van "Kitsch en Kunst" en later werd het het restaurant "Rebelz aan de Rotte".