Na de val van Napoleon kwam het paleis in handen van koning Willem II. Zijn achterkleindochter prinses Juliana en haar echtgenoot prins Bernhard betrokken het huis in 1973 en bleven hier als laatste bewoners. Juliana’s grootvader Willem III (1817-1890) was koning tijdens de afschaffing van de slavernij in Nederland in 1863.
Aan het Haagse hof van de familie Oranje waren gedurende de eeuwen verschillende zwarte bedienden te vinden, waaronder Cupido en Sideron over wie Esther Schreuder een boek en tentoonstelling maakte. Willem III werd neergezet als weldoener van de vrijgemaakte slaven, hoewel technisch gezien de ministers toen al voor de koloniën verantwoordelijk waren. Bovendien gaf Willem III geen gehoor aan eerdere pleidooien voor afschaffing van de slavernij.
Als schadevergoeding voor de uiteindelijke afschaffing betaalde de Nederlandse regering 300 gulden per tot slaaf gemaakte. De eigenaren werden gecompenseerd voor het verlies van hun bezit. Om het verlies aan arbeid op te vangen, bleven de voormalige slaven bovendien onder staatstoezicht en werden ze verplicht tien jaar op contract op een plantage te werken.
Toegankelijk? Huis: ja. Tuin: ja.