Aufgrund des württembergischen Hausgesetzes stand dem württembergischen Kronprinzen ab seinem 18. Geburtstag eine standesgemäß möblierte Wohnung zu. König Wilhelm I. ließ aus diesem Grund zwischen 1846 und 1850 durch Hofkammerbaumeister Ludwig Friedrich Gaab das Kronprinzenpalais am Schlossplatz erbauen. Der König legte nicht nur den Bauplatz, sondern auch den Bauaufwand von 400.000 Gulden fest. Die Finanzierung erfolgte durch den württembergischen Staat, weshalb der Bau zuvor die Ständeversammlung passieren musste. Gaab entwarf einen breit gelagerten, dreigeschossigen Baukörper mit kurzen Seitenflügeln. Die Hauptfassade wurde durch einen dreiachsigen Mittelrisalit mit Altan und Attika akzentuiert. Aufgrund einer Wirtschaftskrise, die mit ein Auslöser der Revolution von 1848 war, sanken während der Bauzeit die Handwerkerpreise, so dass das Kronprinzenpalais im Inneren ohne Überschreitung des Kostenvoranschlags prächtiger als ursprünglich vorgesehen mit Stuckdekorationen und Intarsienfußböden ausgestattet werden konnte. Da sich die Tapezierung und Möblierung noch einige Zeit hinzog und für die Kronprinzessin eine russisch-orthodoxe Kapelle in das Palais eingebaut werden musste, bezogen Kronprinz Karl und Kronprinzessin Olga ihren neuen Wohnsitz erst im Dezember 1854.
Das Kronprinzenpalais stand stilistisch am Übergang vom Klassizismus zum Historismus. Der Bau war ein Renaissancepalast in klassizistischem Gewand. Die Kubatur des Gebäudes mit den turmartigen Eckrisaliten und dem kräftigen Hauptgesims ging auf den römischen Palastbau der Hochrenaissance zurück. Die flächige Fassadengestaltung mit korinthischen Kapitellen, Palmettenfriesen, Arabesken und Voluten gehörte hingegen dem Klassizismus an. Die Raumdisposition des Kronprinzenpalais zeigte eine klare Gliederung: Hinter dem Haupteingang unter dem Altan lag das Vestibül, von dem auf der Rückseite des Gebäudes zwei Treppenhäuser in die Beletage führten. Im Parterre befand sich links das Appartement des Kronprinzen und genau darüber in der Beletage das Appartement der Kronprinzessin. Auf der gegenüberliegenden Seite der Beletage schlossen sich die Gesellschafts- und Festräume an. Im zweiten Obergeschoss logierte das Gefolge und das Hofpersonal. Der am reichsten ausgestattete Raum war der zweigeschossige Tanzsaal. Er war der Festsaal des Kronprinzenpalais, lag jedoch, wie im Klassizismus üblich, nicht mehr hinter dem Mittelrisalit, sondern abseits im linken Seitenflügel. Hinter dem Mittelrisalit befand sich der Speisesaal. Die Innenräume des Kronprinzenpalais zeigten in den Raumausstattungen klassizistische Formen. Im Gegensatz dazu wies das von Stuttgarter Kunsttischlern, sogenannten Ebenisten, gefertigte Neorokoko- und Neorenaissance-Mobiliar bereits Formen des Historismus auf. Der teuerste Teil der Innenausstattung – die Stoffe für die Gardinen und Sitzmöbel, die Posamente, sowie die Spiegel und Bronzekronleuchter – wurden aus Paris bezogen.
Das Kronprinzenpalais stand an einer städtebaulich wichtigen Stelle und bildete das Pendant zum Wilhelmspalais am anderen Ende der Planie wie auch ein Stück der Platzfassade des Schlossplatzes. Das Gebäude war Teil einer Konzeption von König Wilhelm I., mit der er Stuttgart zur königlichen Residenzstadt ausbaute.
Unter den Königen Karl und Wilhelm II. bewohnten die Thronfolger Prinz Wilhelm und Herzog Albrecht das Kronprinzenpalais. Nach der Revolution vermietete der württembergische Staat das Gebäude 1919 an die Stuttgarter Handelshof AG, die das Kronprinzenpalais für Messen und Ausstellungen nutzte. Nach einem Umbau 1930, bei dem die Attika des Mittelrisalits um zwei Achsen verbreitert wurde, wurde das Gebäude der Staatsgalerie überlassen, die es als Dependance für die Graphische Sammlung und die neuere Malerei und Plastik nutzte. Im Zweiten Weltkrieg brannte das Palais bei Luftangriffen im März und Juli 1944 im Innern vollständig aus.
Aufgrund der soliden Bauweise blieben die Fassaden des Gebäudes mit nur geringen Schäden erhalten, so dass ein Wiederaufbau mit vertretbarem Aufwand ohne weiteres möglich gewesen wäre. Dem standen jedoch Überlegungen zu einer neuen Verkehrsführung in der Stuttgarter Innenstadt entgegen, die zu einem sechs Jahre währenden Kampf um den Erhalt beziehungsweise den Abriss des Kronprinzenpalais führten. Treibende Kraft für einen Abbruch war Generalbaudirektor Walther Hoss, Leiter der Zentrale für den Aufbau der Stadt Stuttgart. An der Spitze der Befürworter für einen Wiederaufbau des Kronprinzenpalais als einem bedeutenden Baudenkmal Stuttgarts standen der Schwäbische Heimatbund, das Landesdenkmalamt und führende Repräsentanten der Stuttgarter Kultureinrichtungen. Als jedoch Landeskonservator Richard Schmidt, der sich zunächst für einen Erhalt des Kronprinzenpalais ausgesprochen hatte, im Mai 1954 das Gebäude als Baudenkmal aufgab, war dessen Schicksal besiegelt: Die Ruine ging in das Eigentum der Stadt Stuttgart über, die das Kronprinzenpalais zwischen November 1962 und Dezember 1963 abbrechen ließ. Heute steht an dieser Stelle das Kunstmuseum.