Herzog Friedrich I. (1557-1608) begründete in seiner Stuttgarter Residenz eine Sammlung kostbarer, seltener und exotischer Gegenstände, die der Basler Arzt Felix Platter 1596 erstmals als Kunstkammer bezeichnete. Zwanzig Jahre später besichtigte der Kunstagent Philipp Hainhofer die vorrübergehend in drei Räumen eines Turmes im Alten Schloss verwahrte Kunstkammer und beschrieb sie ausführlich in seinem Reisebericht. Friedrich I. zeigte mit seiner Kollektion von Besonderheiten, die Natur und menschliches Schaffen hervorgebracht hatten, das Interesse an einer universalistischen Sammlungsidee, die um 1600 zahlreiche Fürsten an ihren Höfen verwirklichten. Als enzyklopädisches Abbild der Welt stand die Stuttgarter Kunstkammer für die wissenschaftlichen ebenso wie für die repräsentativen Funktionen einer frühneuzeitlichen höfischen Sammlung.
Schon die Herzöge Christoph und Ludwig hatten Antiken und Gemälde gesammelt. Ebenso wie Friedrich I. fügte sein Sohn Johann Friedrich (1582-1628) zahlreiche in- und ausländische Objekte der Sammlung hinzu. 1617 wurden z.B. goldene Geschirre und kostbare Schaustücke von dessen Ehefrau, Herzogin Barbara Sophia, in der Kunstkammer präsentiert. Nach der Niederlage der württembergischen Truppen in der Schlacht bei Nördlingen 1634 wurden in Stuttgart verbliebene und auf württembergische Festungen geflüchtete Bestände der Kunstkammer von den Siegern geplündert und unter der österreichischen und der bayerischen Kriegspartei aufgeteilt. Gerettet wurden Stammkleinodien und weitere Pretiosen, Steinschnittgefäße sowie Artefakte aus Rhinozeroshorn, Elfenbein, Korallen und Perlmutt, die Herzogin Barbara Sophia in ihr Exil nach Straßburg verbracht hatte.
Herzog Eberhard III. (1614-1674) richtete nach seiner Rückkehr aus dem Exil ab 1638 die Kunstkammer im Alten Schloss wieder ein. Er ließ verbliebene Bestände aus dem Alten Lusthaus in das Alte Schloss übertragen und erwarb neue Objekte, darunter vollständige Kunst- und Naturaliensammlungen aus bürgerlichem Besitz sowie Münzen. Als bedeutendsten Zugang erhielt Eberhard III. 1653 die Sammlung des württembergischen Kammermeisters Johann Jakob Guth von Sulz-Durchhausen, die dessen Sohn Ludwig über die Zeit des Dreißigjährigen Krieges hinweg bewahrt hatte, als Nachlass. Bei diesem Erbe handelte es sich um 20.788, auf den Wert von 28.493 Gulden taxierte Objekte, die die herzogliche Kunstkammer vor allem um Naturalien und ethnografische Objekte bereicherte. Eberhard III. begann mit der Teilung der Bestände, verlagerte 1662 großformatige Objekte in den Neuen Bau und nahm 1669 mit dem Umzug eines großen Teils der Kunstkammer in das Alte Lusthaus die umfassendste Veränderung während seiner Regierungszeit vor. Zudem ordnete er eine gewissenhafte Inventarisierung und Erschließung der Sammlungsbestände an und übergab bis dahin in seinen persönlichen Räumen verwahrte Pretiosen in die Kunstkammer.
Die Bedrohungen durch die Franzosenkriege veranlassten die Söhne Eberhards III., Wilhelm Ludwig und Friedrich Karl, dazu, die wertvollsten Stücke 1676 im Alten Schloss zu sichern und bis 1689 weitere Bestände nach Hohenurach, Basel und Regensburg auszulagern. Mit der Rückführung der Bestände ab 1690 begann für den ab diesem Jahr amtierenden Antiquar Johann Schuckard die Aufgabe der bis dahin aufwändigsten Neueinrichtung und Inventarisierung der Sammlungen, die im Alten Lusthaus in 24 blau angestrichenen Schränken mit verglasten Türen aufgestellt wurden.
Als außergewöhnlicher Zugang unter den Naturalien erlangten die im Jahr 1700 in Cannstatt entdeckten Fossilien im Kontext der naturwissenschaftlichen Diskussionen des 18. Jahrhunderts über Stuttgart hinaus Bedeutung. Auch die 1705 und 1706 inventarisierten Abgaben von Kupferstichen, Zeichnungen und Plänen aus der theologischen Bibliothek Herzog Friedrich Augusts von Württemberg-Neuenstadt sowie aus dem herzoglichen Archiv an die Kunstkammer stellten eine für Studienzwecke zu nutzende Mehrung des Bestandes dar.
Während der von 1744 bis 1793 währenden Regierungszeit Herzog Karl Eugens prägten mehrfache Verlagerungen der Bestände sowie ihre Teilungen und neue Funktionszuschreibungen die Geschichte der Kunstkammer. Mit dem Abriss des Alten Lusthauses im Jahr 1750 ging die unter Herzog Eberhard III. angelegte Identifikation der Sammlung mit diesem Ort, wo sie ein Dreivierteljahrhundert bestanden hatte, verloren. Die Sammlungen wurden zuerst in das Erdgeschoss des Großen Lusthauses, dann in den Neuen Bau und noch 1751 in das Gesandtenhaus, den späteren Prinzenbau, verbracht. Dort mussten die zunächst bezogenen drei Räume 1762 geräumt und die Kunstkammer in das Obergeschoss verlagert werden. Umnutzung und Platzmangel im Gesandtenhaus bedingten 1776 den nochmaligen Umzug in das Herrenhaus am Marktplatz, wo die Räumlichkeiten allerdings nur für eine Teilaufstellung ausreichten. Anlässlich dieser Verlagerung bemerkte der Antiquar Johann Friedrich Vischer (1726-1811) den schlechten Zustand zahlreicher Objekte, woraufhin er als Ausschuss betrachtete zerbrochene und sehr alte Gegenstände in eine als solche bezeichnete „Rumpelkammer“ einlagerte.
Ab 1764 wurden Kupferstiche und Zeichnungen sowie 1766 ein großer Teil der Bronzen in das Ludwigsburger Schloss verlagert, wo der Herzog ein Antiquitätenkabinett einrichten ließ. 1776 überwies Karl Eugen zahlreiche Gemälde an die Gemäldegalerie des Ludwigsburger Schlosses. Wissenschaftliche Instrumente aus der Kunstkammer dienten 1778 der Einrichtung eines mathematischen Kabinetts in der Ludwigsburger Residenz. Die Stuttgarter Kunstkammer konnte während der Regierungszeit Karl Eugens nur wenige Zugänge wie die Naturaliensammlung des herzoglichen Leibarztes Johann Albrecht Gessner (1695-1760) und seit 1775 Modelle für landwirtschaftliche und andere Geräte verzeichnen.
1783 wurden die Naturalien und zwischen 1785 und 1792 die weiteren Sammlungsbereiche in die Hohe Karlsschule verbracht. Die Sammlungen wurden nun mit herzoglichem Dekret in das Naturalienkabinett, dem die Professoren der naturkundlichen Fächer der Bildungseinrichtung vorstehen sollten, und die Kunstkammer, für die der Antiquar Johann Friedrich Vischer verantwortlich war, aufgeteilt. Das Naturalienkabinett gliederte sich in das Regnum Minerale, das Regnum Animale und das Regnum Vegetabile. Die Neuordnung stellte die Dominanz der naturkundlichen Fächer heraus, die nach Umfang, Differenzierung und wissenschaftlicher Wertschätzung die als Kunstkammer verbliebenen Bestände weit übertrafen. Den an der Hohen Karlsschule als Dozenten tätigen Aufsehern standen die Naturalien als Lehrsammlungen für den Unterricht in ihren Fachgebieten zur Verfügung.
Herzog Ludwig Eugen (1731-1795), der Nachfolger Karl Eugens, verfügte zum 18. April 1794 vor dem Hintergrund des Widerstandes der Landstände und der Universität Tübingen sowie wegen der hohen Kosten die Aufhebung der Hohen Karlsschule. Er beendete damit die kurze Zeit der Nutzung der Sammlung für Lehrzwecke.
Der als Kunstkammer verbliebene Bereich der Sammlung erhielt nur noch wenige Zugänge aus der Hinterlassenschaft Karl Eugens sowie einige Waffen. Als am 18. Juli 1796 französische Truppen Stuttgart besetzten, wurden Bestände des Naturalienkabinetts evakuiert. Nach dem Ende der Besatzung wurden 1801 alle vier Sammlungsbereiche aus dem Gebäude der Hohen Karlsschule in fünf Zimmer im ersten Obergeschoss des Alten Schlosses verlegt. Dort erhielt die Kunstkammer 1808 Zugänge aus dem Schloss Weingarten, während mehrfach Bronzen und Steinschnittarbeiten zur Ausstattung neuer Appartements im Stuttgarter Neuen Schloss abgegeben wurden. 1817 erfolgte wieder ein Umzug der gesamten Sammlung in die Alte Kanzlei.
Während die Kunstkammer als Verfügungsmasse für aktuelle Ausstattungsbedürfnisse herangezogen wurde, erfuhr die Naturaliensammlung weit größere Aufmerksamkeit durch den Herzog und späteren König Friedrich I (1754-1816). Als 1816 am Seelberg bei Cannstatt zahlreiche eiszeitliche Säugetierknochen, darunter eine Gruppe fossiler Elefantenstoßzähne, gefunden wurden, beobachtete König Friedrich persönlich die Ausgrabungen. Die Stoßzahngruppe ging in das Naturalienkabinett ein.
König Wilhelm I. (1781-1864) löste alle Sammlungen aus dem Verwaltungsbereich des königlichen Hofes und veranlasste mit dem Reskript vom 17. Februar 1817 ihre Eingliederung in die Staatsverwaltung. Mit dieser Verfügung löschte er formal die personelle Anbindung der Kunstkammer an den Herrscher und hob damit das für die Kunstkammer konstitutive Element des persönlichen Bezugs des Sammlers zu seinen Kollektionen auf. Die Sammlungen unterstanden fortan dem Departement des Innern, Abteilung Kirchen- und Schulwesen, und ab 1848 dem aus dieser Abteilung hervor gegangenen Ministerium. Die zum Königlichen Kunstkabinett umbenannten Kunstsammlungen zogen 1823/24 in das von dem russischen Staatsrat Gerhard Friedrich von Buschmann angekauften Haus um, wo die Besichtigung für jedermann möglich war. Die Naturaliensammlung erhielt 1826 ebenfalls neue Räumlichkeiten im Obergeschoss des eigens für das Staatsarchiv und das Naturalienkabinett errichteten Neubaus an der Neckarstraße, der 1944 durch Bomben zerstört wurde.
Das Kunstkabinett diente auch in der zweiten Hälfte des 19. Jahrhunderts als Reservoir für die Ausstattung königlicher Wohn- und Repräsentationsräume. Nach der Gründung der Staatssammlung vaterländischer Altertumsdenkmale 1862 wurde der verbliebene Kunstkabinettbestand 1886 im Erdgeschoss der Landesbibliothek aufgestellt. Die ethnografischen Objekte gingen in das 1910 gegründete Linden-Museum ein.
Anlässlich der Einrichtung des neuen Schlossmuseums erhielten die Objekte des Kunstkabinetts 1922 wiederum neue Räumlichkeiten im Neuen Schloss im Obergeschoss des nordöstlichen und des Gartenflügels. Nach der Auslagerung im Zweiten Weltkrieg wurden diese Bestände ab 1949 wieder im Alten Schloss als Kernbestand der Sammlungen des Württembergischen Landesmuseums aufgestellt. Anlässlich des Forschungsprojekts zur Rekonstruktion der Kunstkammer der Herzöge von Württemberg erhielten die dort verbliebenen Objekte im Mai 2016 eine Neuaufstellung im ersten Obergeschoss.
Die erhaltenen Bestände der Kunstkammer sind somit heute in Stuttgart auf das Württembergische Landesmuseum, das Staatliche Museum für Naturkunde, das Linden-Museum, die Staatsgalerie, die Landesbibliothek und das Hauptstaatsarchiv verteilt. Einige Objekte befinden sich außerdem in München und Wien sowie in Privatbesitz.