Der Impuls für die Gründung eines württembergischen Armeemuseums kam aus Preußen: 1875 hatte Kaiser Wilhelm I. den Auftrag gegeben, im Berliner Zeughaus eine „Ruhmeshalle der brandenburgisch-preußischen Armee“ einzurichten. Der Direktor des Zeughauses, Edgar von Ubisch, verfasste 1897 einen Aufsatz, in dem er anregte, Objekte des Deutsch-Französischen Kriegs zu sammeln. Diese Initiative wurde im Württembergischen Kriegsministerium aufgegriffen.
Da auch König Wilhelm II. von Württemberg dieser Idee positiv gegenüberstand, wurde nur wenig später, am 26. Februar 1899, das Württembergische Armeemuseum im Alten Schloss eröffnet. Zwei Jahre nach der Eröffnung – am 25. Januar 1901, dem 53. Geburtstag des Königs, – wurden dem Publikum weitere Ausstellungsräume zugänglich gemacht.
Die Präsentation bot einen Überblick über 500 Jahre württembergisches Heerwesen vom 15. bis zum 19. Jahrhundert. Das Museum besaß zwei Räume im Erdgeschoss und fünf im Obergeschoss. Im Eingangsbereich waren unter anderem zwei Geschütze aus den 1870er Jahren zu sehen. In der großen Erdgeschosshalle des Dürnitzbaus wurden württembergische Geschütze und Geschützrohre, darunter französische Beutestücke präsentiert, daneben auch Schusswaffen, Rüstungen, Blankwaffen, Fahnen und Standarten sowie die Geschirr- und Reitzeugsammlung.
Der Uniformensaal im Obergeschoss, der über eine neu eingebaute Treppe von der Dürnitz zu erreichen war, präsentierte in Glasschränken auf Figurinen, die auf der Weltausstellung 1900 in Paris gekauft worden waren, Uniformen aus verschiedenen Zeiten, zum Teil auch als Nachbildungen. Die beiden folgenden Säle zeigten zum einen Modelle von militärischen Bauten und Geräten, zum anderen Schusswaffen, darunter die aktuellen Gewehre der Firma Mauser in Oberndorf am Neckar, die auch vom Deutschen Heer genutzt wurden. In einem kleinen Gedenkraum wurde der württembergischen Soldaten gedacht, die in den Einigungskriegen 1866 und 1870/71 sowie in Afrika gefallen bzw. an Krankheiten verstorben waren. Der Runde Saal schließlich zeigte Uniformen, die von den württembergischen Herzögen und Königen getragen worden waren, und drei Kasketts (militärische Lederhelme) des Kapregiments. Die nach dem Kap der guten Hoffnungen benannte Infanterie-Einheit, die von Herzog Karl Eugen an die Niederländische Ostindien-Kompanie verkauft worden war, verlor nahezu alle Mitglieder in Afrika und Südostasien an Seuchen.
Das Armeemuseum war gleichermaßen Ausstellungsort und Erinnerungsstätte. Wie in den meisten vergleichbaren Einrichtungen dieser Zeit gab es keine Museumsdidaktik, vielmehr stand die dekorative Präsentation der Objekte im Vordergrund.
Im Jahr 1911 musste die Ausstellung im Alten Schloss verkleinert werden: Da Räume im Obergeschoss für die königliche Porzellansammlung geräumt wurden, gelangten Teile der Sammlung des Armeemuseums in die Räume der Staatssammlung im Bibliotheksgebäude, Neckarstraße 8, andere ins Artilleriedepot Ludwigsburg.
Mit dem Ersten Weltkrieg kam das Ende für das Armeemuseum: Im Jahr 1917 wurden die Ausstellungen geschlossen. Als am 28. November 1919 das Kriegsministerium aufgelöst wurde, ging die Aufsicht über das Landesarmeemuseum an das Kultministerium über, das die württembergischen Landeskunstsammlungen neu gliederte.
Es entstanden die Altertümersammlung, das Schloßmuseum (im Neuen Schloss) und die Staatsgalerie. Zu den Beständen des Schloßmuseums zählten auch die Objekte des ehemaligen Königlich Württembergischen Landesarmeemuseums. Nachdem dessen Sammlungen gut ein Jahrzehnt lang magaziniert gewesen waren, wurden sie ab Oktober 1930 im Heeresmuseum im Neuen Schloss wieder gezeigt.
Die von Werner Fleischhauer, dem späteren Direktor des Württembergischen Landesmuseums, kuratierte Ausstellung wurde in zwei Etappen 1930 und 1932 eröffnet. Sie präsentierte in 17 Erdgeschossräumen des Gartenflügels die württembergische Wehrgeschichte chronologisch gegliedert von den Ritterheeren des Mittelalters bis zum Ende des Ersten Weltkriegs. Zu sehen waren Schuss-, Blank- und Schutzwaffen, Uniformen, Fahnen, Gemälde und Modelle. Der letzte Raum im Rundgang durch das Heeresmuseum war eine Gedenkstätte für die rund 82.000 Württemberger, die im Ersten Weltkrieg gefallen waren.
Das Heeresmuseum wurde während des Zweiten Weltkriegs geschlossen, seine Bestände waren rechtzeitig ausgelagert worden, sodass sie bei der Zerstörung des Neuen Schlosses keinen Schaden nahmen. Nach dem Krieg verblieben die Objekte in den Depots, da an wehrgeschichtlichen Ausstellungen kein Interesse mehr bestand. 1969 wurden große Teile der Bestände, vor allem die Objekte aus der Zeit nach 1870, nach Rastatt ins Wehrgeschichtliche Museum abgegeben.