Per dimostrare la sua vicinanza ai cittadini, il duca Guglielmo decise di risiedere nel centro della città, stabilendo così un legame storico con i suoi antenati.

A causa della mancanza di spazio, il palazzo fu attaccato alle case vicine ed era di dimensioni relativamente modeste. Nel 1835, il duca Wilhelm von Nassau incaricò il capo costruttore granducale Georg Moller di progettare il palazzo di città, ma non poté trasferirsi personalmente - morì nel 1839 -. Al suo posto, il figlio Adolf divenne il primo e unico signore permanente del palazzo nel 1841. Dopo che il duca Adolf dovette andare in esilio nel 1866, il Regno di Prussia utilizzò il palazzo per i soggiorni del Kaiser Guglielmo I e Guglielmo II. Nel 1925 fu sede dell'Armata britannica del Reno e nel 1930 l'Amministrazione del Palazzo di Stato prussiano vi allestì un museo.

Dopo le gravi distruzioni subite durante la Seconda guerra mondiale, il palazzo fu restaurato e divenne sede del Parlamento dell'Assia.