Der Fruchtkasten liegt zwischen Stiftskirche und Prinzenbau an der Südwestecke des heutigen Stuttgarter Schillerplatzes. Bis 1934 galt noch die ursprüngliche Adresse Alter Schlossplatz. Obwohl das Schillerdenkmal bereits 1839 errichtet wurde, setzte sich der neue Ortsname erst allmählich durch.
Die Quellen und Literatur zum Stuttgarter Fruchtkasten verwenden oft die irreführende Bezeichnung „Stiftsfruchtkasten“. Die bauliche Nachbarschaft zur Stiftskirche erklärt diesen Irrtum, doch der Fruchtkasten gehörte nie zum Stift, sondern war seit jeher im Besitz der Grafen und später der Herzöge von Württemberg.
Im süddeutschen Raum versteht man unter dem Fruchtkasten ein Gebäude für die städtische Korn- und Getreidelagerung. Nahezu jede mittelalterliche Stadt besaß einen Fruchtkasten, der sich aus praktischen Gründen meist im Ortszentrum in der Nähe des Marktplatzes befand. Auch in Stuttgart liegt der herrschaftliche Fruchtkasten nur ein paar Hundert Meter vom großen Marktplatz entfernt.
Der heutige Fruchtkasten geht auf einen spätgotischen Vorgängerbau zurück, der erstmals im Jahre 1393 in einem Lagerbuch als große, herrschaftliche Kelter erwähnt wird. Eine Kelter war ursprünglich eine Presse zur Gewinnung von Frucht- und Obstsäften, die zu Most oder Wein weiterverarbeitet werden konnten. Der Begriff Kelter oder Kelterhaus wurde auch für das Gebäude verwendet, in dem sich die Fruchtpresse befand. Die ursprüngliche Funktion des Gebäudes als Kelter bestätigt auch das Landbuch des Kartografen Johannes Oettinger von 1624, der von einer „Kelter am Schloßblatz bey der Stiftskirchen, darauf auch ein Fruchtcast und Fuetterhauß“ schreibt. Um 1620 bereits scheint sich die Nutzung des Gebäudes von der Kelter zusätzlich zu einem Fruchtkasten erweitert zu haben. Auch die bauliche Substanz hatte sich zu dieser Zeit bereits im Vergleich zum spätgotischen Vorgängerbau geändert.
Im Jahr 1596 hatte Herzog Friedrich I. von Württemberg (1557-1608) seinen Baumeister Heinrich Schickhardt (1558-1635) mit der Planung eines neuen Platzes zwischen der Alten Kanzlei, dem Tunzhofer Tor und der Stiftskirche beauftragt. Friedrich schwebte ein repräsentativer Platz mit Gebäudefassaden im Stil der Renaissance vor und so ließ er sämtliche Häuser zwischen den Arkadenflügeln des Alten Schlosses und des Tunzhofer Tors, das sich an der rechten Seite des Prinzenbaus befand, aufkaufen und abreißen. Im Rahmen dieser Baumaßnahmen wurde 1604 auch ein Gebäudeteil des Fruchtkastens, welcher damals noch etwa fünf Meter in den Platz hineinragte, abgebrochen. Der Bibliothekar und Archivar Johann Jakob Gabelkover beschrieb diesen Vorgang in seiner „Chronica der fürstlichen württembergischen Haubtstatt Stuetgardten“ aus dem Jahr 1624 wie folgt: „Anno 1604. Herzog Friedrich hat den Schloßplatz, desto in bessere form zue bringen, ein großen Thail des Frucht Castens unnd Kellter, dem Chor der Stiffts Kürchen gleich, hinwegbrechen [...] laßen.“
Heinrich Schickhardt passte die Fassade des Fruchtkastens im Stil der süddeutschen Renaissance an. Er schuf eine symmetrische Fensteranordnung in der Vertikalachse mit Stockwerksgesimsen und einem dekorativen Rollwerk an den Seiten. Dem spitz zulaufenden Dachgiebel setzte er eine bekrönende Skulptur auf. Sie stellt den auf einem Fass reitenden Bacchus, den römischen Gott des Weines, dar und weist auf die ursprüngliche Funktion als Kelter hin. In seinem Inventarium schreibt Heinrich Schickhardt über diese Umgestaltung: „1625. [...] Zum Casten Haus bei der Stüfft Kürch den steinern gibel gantz new erbaut. [...].“
Bis Anfang des 19. Jahrhunderts sollte sich die Nutzung als Fruchtkasten fortsetzen. Danach beginnt eine Zeit mit wechselnden Funktionen. Für das Jahr 1806 ist eine „Unordnung und schlechte Unterbringung der Akten der altwürttembergischen Brandschadensversicherungsdeputation im Fruchtkasten bei der Stiftskirche“ belegt. Das Gebäude wurde zu dieser Zeit teilweise als Archiv staatlicher Behörden wie dem Landeskameralamt Stuttgart genutzt. Das Kameralamt war eine königliche Einrichtung zur Verwaltung von Besitz und Einkommen des Staates. Um 1843 wurde der Dachraum des Fruchtkasten-Gebäudes ausgebaut und daraufhin auf Beschluss des Kameralamts von 1847 bis 1859 vermietet und wahrscheinlich auch bewohnt. Der Fruchtkasten wurde sukzessive ausgebaut und renoviert. Um 1901 erscheint beispielsweise ein Kostenverzeichnis, das einen Ausbau der Stallungen im Fruchtkasten dokumentiert. In den folgenden Jahren kommt es außerdem zu einer Instandsetzung der Giebelfassade in Richtung des Alten Schlossplatzes (heute Schillerplatz), die baufällig geworden war. Die Fassade war neu verputzt worden, wodurch die Symmetrielinien klarer und strenger hervortraten. Im Erdgeschoss besaß der Fruchtkasten Eingänge zu den Seiten, jedoch zunächst noch keinen Eingang zum Schillerplatz hin. Mit den Erneuerungsarbeiten ab 1903 wurden drei große Tore in die Wand des Erdgeschossbereiches gezogen, was die Zugangsmöglichkeit vom Schillerplatz aus verbesserte. Der Verputz wurde teilweise wieder abgenommen und der raue Charakter des Bruchsteinmauerwerks wurde erneut sichtbar.
Während der Bombenangriffe von 1944 wurde der Fruchtkasten bis auf die Grundmauern zerstört. Lediglich die Giebelfassade blieb stehen, war jedoch statisch so instabil, dass auch sie ein Jahr später einstürzte. Ab 1948 wurde der Wiederaufbau begonnen. In den Jahren 1954 bis 1956 erfolgte eine Rekonstruktion der Fassade und des Gebäudezuschnittes, sodass die Erhaltung des historischen Äußeren gewährleistet war. In diesem Zug erhielten nur die oberen Geschosse einen neuen Verputz, der die Quaderungen um die Fenster freiließ. Das Erdgeschoss blieb unverputzt. Eine weitere Abweichung vom Vorzustand stellten die neuen Eingänge zu allen Seiten dar, welche im Wesentlichen noch heute erhalten sind. Gleichzeitig wurde eine Neugestaltung des Innenraumes in der Formensprache der 1950er Jahre vorgenommen. Diese sollte dem neuen Nutzungsanspruch eines Büro- und Ausstellungsgebäudes gerecht werden.
Nach Fertigstellung des Wiederaufbaus stellte das Landesmuseum Württemberg in einem Teil der Räumlichkeiten die Sammlung römischer Steindenkmäler aus. Ab 1988 erfolgten erneut Planungen zur Umgestaltung und Sanierung im Hinblick auf die Nutzung als Museum für Musikinstrumente. Von 1990 bis 1993 wurden die entsprechenden Bauarbeiten unter Leitung des Staatlichen Hochbauamtes I Stuttgart durchgeführt. Seit November 1993 ist im „Haus der Musik im Fruchtkasten“ die Sammlung historischer Musikinstrumente des Landesmuseums Württemberg zu sehen. Die römischen Steindenkmäler sind seither im Kellergeschoss des Neuen Schlosses im „Römischen Lapidarium“ ausgestellt. Der Fruchtkasten zählt bis heute zur Liste der Kulturdenkmäler im Eigentum des Landes Baden-Württemberg.