Als der 21-jährige Heinrich Schickhardt das Bauareal in Stammheim erstmals aufsuchte, fand er vermutlich noch Reste, wahrscheinlich einen Teil des Mauerrings mit Tor und Eckturm, der alten Wasserburg vor, die sich die Grafen von Stammheim etwa um 1100 hatten erbauen lassen. Deren erste schriftliche Erwähnung ist in einer Urkunde vom 20. Juni 1192 überliefert, in der Kaiser Heinrich VI. die Verleihung einer Mühle des Klosters Lorch einem Dietrich von Stammheim bestätigt.
Die Erwähnung des Bauwerks, einer Dreiflügelanlage, in deren Hof rechter Hand ein Treppentürmchen mit Spitzhaube eingebaut ist, taucht erstmals in Schickhardts „Inventar“ von 1630/32 auf: „Stamen. Alß ich anno 1579 beij dem Baumeister Behren gewesen, hab ich eine visierung wie diß Schloß von Grund auff new zu erbauwen gemacht, auch dem Junkher Hans Wolfen zu Stamen selber iberlifert, ist auch gleich erbaut worden.“
Den Auftrag erhielt Schickhardt also von Hans Wolf von Stammheim. Anstelle der Wasserburg, dem bisherigen befestigten Wohnsitz der Stammheim entstand ab 1579 ein standesgemäßes, dem Zeitgeschmack entsprechendes Schloss. Lange dürfte Hans von Stammheim das Schloss allerdings nicht bewohnt haben, denn bereits 1588 wird er als „Hans Wolf von Stammheim selig“ bezeichnet, war also verstorben. Gemäß dem Erbvertrag, den er 1559 mit seinem Schwiegervater Sebastian Schertlin von Burtenbach geschlossen hatte, fiel der Besitz der Stammheim 1588 beim Tod Stammheims und dem damit verbundenen Erlöschen der männlichen Linie des Reichsrittergeschlechts an die Schertlins. Ausgenommen davon war lediglich der Allodbesitz, also ihrem Eigengut. Allerdings verkaufte diesen 1606 Hans von Stammheims Tochter Ursula, mit deren Tod zwölf Jahre später das Geschlecht auch in der weiblichen Linie ausstarb, ebenfalls an die Schertlins. In den folgenden 150 Jahren residierte im Regelfall das Familienoberhaupt des Reichsrittergeschlechts bzw. während der zeitweisen Verlegung des Wohnsitzes nach Geisingen der jeweilige Amtmann im Schloss.
Seit Ende des 17. Jahrhunderts hatten die Schertlins aufgrund ihrer schlechten finanziellen Situation mehrfach erwogen, die Herrschaft Stammheim und damit auch das Schloss zu verkaufen. Nach mehreren gescheiterten Verkaufsversuchen, ging der Besitz am 7. Dezember 1737 schließlich an das Herzogtum Württemberg über. Seit 1854 wiederum war das Schloss mit sämtlichen Gärten und Nebengebäuden in Privatbesitz. Der Stuttgarter Kaufmann Eduard Frommel hatte eine Summe von rund 8000 Gulden geboten und damit die Gemeinde ausgestochen. Diese war ebenfalls an einem Erwerb des Gebäudes von der Hofdomänenkammer interessiert gewesen, um die Gebäude als Rat- und Schulhaus nutzen zu können. Frommel ließ einige Nebengebäude abbrechen und richtete im Schloss eine dampfbetriebene Spirituosenbrennerei ein. Allerdings musste er das Anwesen bereits zehn Jahre später wieder verkaufen.
In der Folge besaßen das Schloss wohl die Hechinger Fabrikanten J. Heilbronner und Söhne sowie Sigmund und Sara Bernheim. Diese hatten geplant eine Dampfspinnerei im Schloss einzurichten. 1864 erwarb es der Zuffenhausener Glasfabrikant Romminger, der im Schloss Wohnungen für seine Arbeiter einrichtete. Ende des 19. Jahrhunderts wiederum wurde es von der Dienstbotenheimat Fellbach, einer evangelischen Anstalt zur Versorgung invalider Dienstmägde, erworben und wenig später um ein Genesungsheim der Samariter erweitert. Außerdem wurde das Schloss seither als Altersheim genutzt. Diese Funktion hat es auch heute noch inne.
Wenn auch im Baudetail verändert, erscheint die Anlage auch heute noch in ihrer ursprünglichen Form. Lediglich die Schießschartenmauer und das Gittertor, die beide beim Umbau 1885 entfernt wurden, sind nicht mehr erhalten. Besonders interessant sind die Übereinstimmungen in der Gestaltung der Fachwerkgiebel. In den Jahren zwischen 1976 und 1978 wurde eine umfassende Restaurierung vorgenommen, in deren Verlauf man auch das alte Fachwerk freilegte. Die alemannische Fachwerkstruktur und deren Motive sind ebenfalls auszumachen: Auffallend das stolze „Schwäbische Weible“ mit dem senkrechten Balken und den dachförmigen Verzweigungen links und rechts der Fenster. Unterhalb der Fenster und im Dachzwickel erkennt man Andreaskreuze.
Ecktürmchen – ob als Treppe oder Wohnraum, ob im Innenhof oder an der Fassade – gehören zum typischen Repertoire der Schlossarchitektur der Renaissance. Dass sich allerdings Schickhardt von seinem Meister Georg Beer hat inspirieren lassen, und zwar von dessen Stuttgarter Projekt des Neuen Lusthauses, ist eher unwahrscheinlich, da Schickhardts Schloss drei oder vier Jahre vor den ersten Baunachrichten zum Lusthaus aus dem Herbst 1583 schon fertiggestellt war. Andererseits hat sich Beer bereits vorher mit entsprechenden Baukonzepten befasst, und Schickhardt dürfte bei den Planungsarbeiten assistiert haben. Grundsätzlich aber gehört das Schloss Stammheim ebenso wie das Neue Lusthaus dem Schlosstypus „Rechteckbau mit zylindrischen Ecktürmen“ an – ein Typus, der besonders in Württemberg zur Zeit der Bautätigkeit Herzog Ulrichs favorisiert wurde.
Das Stammheimer Schloss darf als Kleinod am Rande Stuttgarts gelten, obgleich es im Konzert von Schickhardts Schlossbauten leider nur wenig Beachtung findet.