Neben Jagd- und Ritterspielen prägten Feste und Feiern die höfische Kultur des 16. Jahrhunderts. Prachtvolle Hochzeits- und Hoffeste, Bälle und Theateraufführungen erforderten einen repräsentativen Rahmen. Die Räumlichkeiten des Alten Schlosses genügten Herzog Ludwig von Württemberg (1554-1593) dafür nicht mehr – er wünschte sich ein Gebäude, das allein den „Freuden des irdischen Lebens“ gewidmet war. Darüber hinaus sollte das Bauwerk dazu dienen, das Geschlecht des Hauses Württemberg zu repräsentieren sowie auch dessen Machtanspruch zu manifestieren. Der neu zu errichtende Bau sollte Maßstäbe setzen und von herausragender architektonischer Qualität zeugen.
Mit der Umsetzung beauftragte Herzog Ludwig seinen Baumeister Georg Beer. Dieser setzte die Anforderungen des Bauherrn in einem Entwurf um, der Außergewöhnliches versprach. 1584 begannen die Bauarbeiten, nach fast neunjähriger Bauzeit wurde das Gebäude 1593 vollendet. Die Fertigstellung des Neuen Lusthauses erlebte der Auftraggeber jedoch nicht mehr. Herzog Ludwig starb wenige Tage zuvor am 28. August 1593. Seinen Nachfahren hinterließ er ein Bauwerk von einzigartigem Rang.
„Ain küniglich werckh und absolut würdig zu sehen“, urteilte Philipp Hainhofer im Jahr 1606 über das, was ihm in Stuttgart vorgestellt worden war. Etwas Vergleichbares hatte selbst er als Augsburger Patrizier, Kaufmann, Kunstagent, Nachrichtenkorrespondent und weitgereister Diplomat noch nicht gesehen: ein Gebäude von völlig unbekannter, überwältigender Gestalt – das Neue Lusthaus zu Stuttgart.
Nordöstlich des Schlosses, inmitten des fürstlichen Lustgartens gelegen, erhob sich der klar gegliederte Bau auf einer kaum zu überblickenden Grundfläche. Seine reich ornamentierten Schweifgiebel übertrafen den First der benachbarten Stiftskirche. Somit behauptete sich das Neue Lusthaus als größter und modernster Bau der Stadt. Allen vier Gebäudeecken lagerte je ein hoch aufragender Turm vor, der das Gebäude unmissverständlich als herrschaftliches Bauwerk kennzeichnete. Zusätzlich umgab ein filigran gestalteter, umlaufender Arkadengang den massiven Kernbau.
Neben der modernen Architektur und Formenvielfalt des Gebäudes kam dem Saal im Obergeschoss eine besondere Bedeutung zu. Mit seiner stützenfreien Spannweite von über 20 Metern galt er als größter Festraum nördlich der Alpen. Philipp Hainhofer beschrieb diesen Saal als „einem irdischen Paradeiß zu vergleichen“.
Nachdem das Lusthaus noch zu Beginn des 17. Jahrhunderts im Glanz großer Feiern erstrahlte, endete mit den Wirren des Dreißigjährigen Krieges die Zeit der Ausgelassenheit; der Festbau verwaiste. Nach Beendigung des Konflikts sollte auch in Stuttgart ein neues Residenzschloss im Stil des Barock entstehen. Der Entwurf dafür sah den Lustgarten als Standort für das Schloss vor. Allerdings besetzte das Lusthaus einen Teil des Bauplatzes. Aufgrund des darin enthaltenen Saals sollte der Renaissancebau nicht abgerissen, sondern als Opernhaus in die neue Anlage integriert werden. Mit Rücksicht auf den Bestandsbau wurde sogar die Idealausrichtung des Schlosses aufgegeben. Ab 1750 erfolgte unter Herzog Karl Eugen (1728-1793) durch dessen Baumeister Leopold Retti der Umbau zum Opernhaus. Das als Operntheater umfunktionierte Lusthaus wurde seiner Nutzung jedoch nur bedingt gerecht. Es fehlte an Garderoben, Lagerräumen und Werkstätten. Während des 18. Jahrhunderts fanden mehrfach provisorische Umbauten statt, die das Gebäude in seinem Erscheinungsbild stark überformten. 1752 setzte der gerade an den württembergischen Hof berufene Architekt Philippe de La Guêpière eine Erweiterung um, 1757 führte er eine Renovierung durch. 1811 erfolgte durch den württembergischen Hofarchitekten Nikolaus Friedrich von Thouret der Umbau zum Hoftheater.
Einige Jahrzehnte später, am Hofe König Wilhelms I. (1781-1864), waren Opern nicht mehr gefragt. Für Wilhelm galten Erziehung und Bildung als maßgebliche Werte. Das Lusthaus stand im Gegensatz zu seiner Lebensauffassung, und die Architektur des Renaissancebaus widersprach seiner pietistisch geprägten Haltung. Folglich beschloss Wilhelm dessen Abbruch, um an derselben Stelle ein modernes Bildungstheater errichten zu lassen.
Der Stuttgarter Architekt Karl Friedrich Beisbarth leitete den 1843 angeordneten und ab 1844 einsetzenden Abbruch. Bereits während der ersten Begehungen erkannte dieser die besondere Qualität der historischen Bausubstanz. Den Verlust des Lusthauses konnte er jedoch nicht mehr verhindern. Um den Renaissancebau wenigstens umfassend zu dokumentieren, hielt der Architekt das Vorgefundene in Form von Zeichnungen fest. Seine Position als Bauleiter ermöglichte es ihm, das Gebäude jederzeit zu betreten und den Abbruch entsprechend seiner Bauaufnahme zu koordinieren. Nachts sowie an Wochenenden arbeitete er unermüdlich an der Erfassung des im Niedergang begriffenen Bauwerks. Innerhalb eines Jahres entstanden auf diese Weise über 500 Planzeichnungen, die sich heute in der Universitätsbibliothek Stuttgart befinden.
Die Geschichte des Lusthauses war mit dem Niedergang der Bausubstanz jedoch noch nicht zum Abschluss gekommen: Dem rasch fortschreitenden Rückbau folgte die Errichtung eines neuen Theaterbaus. Nach anderthalbjähriger Bauphase eröffnete das neue Theater im Sommer 1846. In der Nacht vom 19. auf den 20. Januar 1902 kam es jedoch zu einem tragischen Unglück. Das königliche Hoftheater brannte vollständig ab. Bei der Beseitigung der Brandruine kamen einige der verloren geglaubten steinernen Zeugnisse des ehemaligen Lusthauses zum Vorschein. Wie sich herausstellte, hatte man diese beim Umbau des Theaters aufgrund von Zeitnot ummauert und in den Neubau integriert. Ausgehend von den erhaltenen Fragmenten entstand im Frühjahr 1902 die Idee, das Lusthaus wiederaufzubauen. Unzureichende finanzielle Mittel und mangelnde politische Unterstützung vereitelten das Vorhaben jedoch. 1904 wurde die noch erhaltene doppelläufige Freitreppe im Stuttgarter Schlossgarten aufgestellt.
Auf die herausragende Bedeutung der wenig beachteten Ruine verwies bereits 1954 der Stuttgarter Chronist und Denkmalpfleger Gustav Wais, der den ursprünglichen Bau als „eine der edelsten Schöpfungen deutscher Renaissance beschrieb, die, wenn wir sie heute noch besäßen, die Hauptsehenswürdigkeit Stuttgarts wäre“.