In 1557 kocht Godard van Reede van Saesveld het huis en hoge heerlijkheid Amerongen. Dit laatste hield in dat het een zelfstandig gebied met eigen rechtspraak was, waardoor hij lijfstraffen uit mocht delen en misdadigers mocht laten executeren. Achterkleinzoon van Godard was Hendrik Adriaan van Reede Nederhorst (1639-1691).
Hendrik Adriaan werd in 1684 benoemd tot Commissaris-Generaal van de VOC met de opdracht om “in Bengalen, op de kust van Choromandel, op Ceylon, Malabar, Soeratte en aan de Kaap (…) alle frauden, mesusen, malversatiën te ontdekken” en de betrokken ambtenaren te ontslaan. De opdracht kwam er op neer dat hij optrad tegen de verboden handel door VOC-ambtenaren voor eigen rekening. Hij schreef als botanicus het boek Hortus Indicus Malabaricus over de flora in Indië. Hulshof deed in 1941 onderzoek naar Hendrik Adriaan en schreef dat hij zorgde voor behoorlijke huisvesting en warme kleding voor de tot slaaf gemaakten in zijn omgeving. In kasteel Amerongen hangt een schilderij van een Afrikaanse bediende. Over zijn identiteit is weinig bekend. Hij was waarschijnlijk bediende van de koopman Adriaan Boesses.
Toegankelijk? Huis: ja. Tuin: ja.