Dit huis is gebouwd in 1757 in opdracht van Willem Hendrik van Steenbergen. Zijn familiewapen is nog te zien. Willem Hendrik en zijn echtgenote Hendrietta Susanna de Vries wonen in Suriname tijdens de bouw. Ze zijn eigenaar van de Surinaamse plantages Dwingelo, Driesveld en Alderat en de slavenmachten van die plantages. Willem Hendrik is ook militair en koloniaal bestuurder in de Raad van het Hof van Politie en Criminele Justitie. Aan boord naar Rotterdam in 1768 vergezellen zeven mensen het echtpaar: ‘Jacob, Maria, Maria van Breda, Jonge Paulus, Cornelis, Quadrille en Marretje’, de laatste drie in slavernij. Jacob is een Aukaner, een marron, een vrije man uit het binnenland van Suriname. De andere drie vrije personen hadden waarschijnlijk een Europese vader en een Afrikaanse moeder. Lang heeft het gezelschap hier niet gewoond; in 1769 verhuizen de Van Steenbergens naar kasteel Keenenburg in Schipluiden.