In de 17e en de 18e eeuw huist hier de stedelijke elite, zoals magistraat mr. Barthout van Slingerlandt die stadsbestuurder en baron is en er komt te wonen in 1731.
Later doet hij het huis over aan zijn dochter, barones Elisabeth van Slingerlandt en schoonzoon David Graswinckel die er samen maar liefst 51 jaar wonen. David heeft diverse regentenbaantjes inclusief bewindvoerderschap van de VOC.
De Kamers van de VOC en de WIC worden bestuurd door bewindhebbers. Het zijn gewilde functies omdat men invloed kan uitoefenen en een flink salaris met royale onkostenvergoedingen ontvangt. Het college van (in Delft: vier) burgemeesters van een stad kiest en benoemt bewindhebbers die worden voorgedragen door de grootste investeerders. Het lange verblijf van de Graswinckels en de Slingerlandts heeft ook zijn sporen in het gebouw nagelaten, zoals de beide familiewapens die te zien zijn in de gang.