Jakob Friedrich von Fritsch , ein Geheimrat und Minister in Weimar, erbaute von 1767 bis 1769 auf dem Gelände eines ehemaligen Franziskanerklosters ein Stadtpalais. Das Baugrundstück lag sehr repräsentativ an der sogenannten Esplanade, der heutigen Schillerstraße. Nach dem Weimarer Schlossbrand bewohnte die Herzogin Anna Amalia das Palais ab Mai 1774 und erwarb dieses 1775 für eine Kaufsumme von 20100 Reichstalern. Anna Amalia bewohnte das Wittumspalais bis zu Ihrem Tode 1807 .

Ab 1775 wurden die Innenräume umfassend gestaltet. Unter anderem stammen Deckengemälde und Wandmalereien von Adam Friedrich Oeser . Nach 1807 wurde das Palais vom Herzoglichen Hofmarschallamt verwaltet. Von 1808 bis 1848 tagte die Weimarer Freimaurerloge Amlaia in dem Gebäude. Von 1833 bis 1848 fanden im Festsaal außerdem Sitzungen des Landtages statt. 1848 wurde die Bibliothek des Lesemuseums in das Wittumspalais verlegt. Ab 1858 wurde der Festsaal als Atelier vom Maler Leopold Graf von Kalckreuth benutzt. Der Maler Friedrich Preller nutzte diesen Saal zwischen 1864 und 1868 für seinen Odysseus-Zyklus.

1870/71 gab der Großherzog Carl Alexander umfangreiche Restaurierungsarbeiten in Auftrag. 1919 übernahm das Goethe-Nationalmuseum das Wittumspalais. Im 2. Weltkrieg wurde das Gebäude stark beschädigt, und konnte ab 1949 wieder als Museum eröffnet werden. Die Wohnräume bieten heute ein anschauliches Bild adeliger Wohnkultur.