Dit huis is gebouwd dankzij een schenking van Maria Duyst van Voorhout (1662-1754), bij haar overlijden de rijkste vrouw van de Republiek. Het huis wordt gebouwd vanaf 1756 en loopt 70 meter door tot aan de Westvest met drie binnenplaatsen voor de lichtval. Een vers in de voorgevel herinnert nog aan deze schenking. Zij stamt uit een geslacht van staatsgezinde Delftse brouwers, handelaren en stadsbestuurders. Bij haar overlijden heeft zij grote pakketten VOC- en WIC-aandelen. Waarschijnlijk zijn deze aandelen naar familieleden gegaan of te gelde gemaakt. Ze zijn niet direct terug te zien in de bezittingen van de fundatie die gesticht wordt door haar.

In haar testament bepaalt zij dat driekwart van haar vermogen wordt besteed aan het stichten van drie fondsen onder bestuur van weeshuizen in Delft, Den Haag en Utrecht, de Fundatie van Renswoude, een speciale beroepsopleiding om begaafde weesjongens te kunnen laten studeren. Hermanus de Roo is zo iemand en hij werkt als volwassene als landmeter in Batavia. Bij zijn overlijden heeft hij de tot slaafgemaakten Augustus van Neas, zijn vrouw Delphia van Boegis en hun kinderen, Koenam van Boegis en haar man Mada van Boegis en hun kinderen en Calistra van Batavia in bezit.