Die Esslinger Vorstadt war Mitte des 15. Jahrhunderts baulich so weit entwickelt, dass sie durch eine Befestigungsanlage in den städtischen Bereich einbezogen werden sollte. Graf Ulrich V. der Vielgeliebte ließ zu diesem Zweck einen Wassergraben um das Gebiet ziehen. Auch begann man mit dem Bau einer Mauer, deren Fertigstellung jedoch über hundert Jahre auf sich warten ließ. Erst Herzog Christoph gab der Esslinger Vorstadt Mitte des 16. Jahrhunderts eine richtige Befestigung, in dem er die äußere Stadtmauer innerhalb weniger Jahre fertigstellen ließ. Die Mauer, an die heute noch der Schellenturm sowie ein Mauerrest erinnern, war Bestandteil der großen Stadteinfriedung um die Kernstadt und beide Vorstädte. Sie erstreckte sich von der Leuschnerstraße im Norden bis zur Katharinenstraße im Süden. Insgesamt hatten die Stuttgarter Stadtmauern in ihrer Hochzeit 43 Türme und Tore. Wenige Reste davon sind noch vorhanden.
Der südlichste Stadtturm war der heutige Schellenturm, erbaut von „Hanns Flach von Meeringen 1564“, wie eine Inschrift auf der Rückseite des Turmes bezeugte. Damals nannte man den Turm „Kastkellereiturm“. Die Kastkellerei für Stadt und Amt Stuttgart hatte unter anderem auch für die Naturalbezüge der Hof- und Regierungsbediensteten und zum Teil für die Verpflegung der Hofhaltung zu sorgen. Sie nahm zu diesem Zweck auch Lieferungen anderer Kellereien entgegen und erfüllte damit gewisse Aufgaben einer Zentralkellerei. In diesem Stadtturm befand sich dementsprechend ein Lager für Wein und Korn.
Im Jahr 1811 wurde der Kastkellereiturm in Schellenturm umbenannt, nachdem ein so benannter Turm an der Ecke Kanal- und Weberstraße abgebrochen worden war.
Namengebend für den Turm waren die sogenannten „Schellenwerker“. Es handelte sich dabei um Männer, die sich kleinerer Vergehen schuldig gemacht hatten und beispielsweise zur Entlastung der Arbeitskräfte bei öffentlichen (Bau-)Arbeiten eingesetzt wurden. Sie arbeiteten unter Bewachung in den Steinbrüchen, den herrschaftlichen Gärten, beim Straßenbau und bei der Anlage und Reparatur der Stadtbefestigung. Damit sie als ‚Strafgefangene im Außendienst‘ erkennbar und von weitem hörbar waren, trugen sie kleine Glöckchen an den Kleidern, teilweise sogar in den Kleidern eingenäht. Normalerweise schliefen sie dort, wo sie abends ihre Arbeit beendeten und morgens weitermachten. In kalten Wintern war ihnen jedoch erlaubt, auch in privaten Häusern zu nächtigen, sofern die Besitzer dies erlaubten. Mit Sicherheit haben sie sowohl den früheren als auch den heutigen Schellenturm mit erbaut.
Ursprünglich war der Turm massiv bis zur Mauerkrone. Bei einer Sanierung im Jahr 1906 wurde jedoch festgestellt, dass der obere Teil brüchig war. Daraufhin wurde er abgetragen und durch einen leichten Fachwerkaufsatz ersetzt. Im Jahr 1944 wurde der Schellenturm bei Bombenangriffen bis auf den Unterbau zerstört. Da zu diesem Zeitpunkt die Stadtplanung noch an der Vorkriegsplanung einer Überbauung des Bohnenviertels durch ein Technisches Rathaus festhielt, wurde zunächst nicht an einen Wiederaufbau gedacht.
Gustav Wais, Vorsitzender der städtischen Kommission zur Erhaltung von Baudenkmalen und Kunstwerken und Direktor des württembergischen Landesamtes für Denkmalpflege, forderte bereits 1947, zumindest den Turmstumpf so zu sichern, dass er später wiederaufgebaut werden könne. Die Forderung nach einer Wiederherstellung wiederholte er in den darauffolgenden Jahren bei verschiedenen städtischen Institutionen. 1952 wurde durch die Presse angemahnt, doch diesen „eigenwilligen Zeugen der historischen Stadtbildgestaltung“ wiederaufzurichten, vielleicht mit einer romantischen Einraumwohnung im Fachwerkaufsatz.
Trotzdem beschloss der Kulturausschuss der Stadt Stuttgart 1958, den Turm abzubrechen und an das Staatliche Amt für Denkmalpflege den Antrag zu stellen, den Schellenturm aus der Denkmalliste zu streichen. Der Antrag wurde wenige Wochen später abgelehnt mit dem Hinweis, dass die Reste des Turmes ganz beachtlich seien und eine Wiederherstellung ohne weiteres möglich sei, gegebenenfalls auch ohne den Fachwerkaufsatz, sondern einfach mit einem flachen Kegeldach.
In der Bevölkerung wurde der Wiederaufbau damals differenziert betrachtet. Manche beklagten, dass immer weniger bauliche Zeugen der Stadtvergangenheit zu finden seien, andere sahen im Abriss ein Aufräumen, eine Art der Hygiene, und empfahlen stattdessen den Neubau von einigen Einfachwohnungen, woran ein großer Bedarf bestehe.
Mit dem Aufwand von 40.000 Mark wurde schließlich 1961 der Turmstumpf instand gesetzt und baulich gesichert. Im Vorfeld der Sanierung des Bohnenviertels gründete eine Gruppe von Bürgern 1977 die „Gemeinnützige Denkmalstiftung GmbH“ und beauftragte den Architekten Helmut Mögel mit dem Wiederaufbau in der Vorkriegsversion, also mit Fachwerkaufbau.
Insgesamt wurden 700.000 Mark dafür aufgewandt, davon waren mehr als die Hälfte Spendengelder von Firmen sowie aus der Bevölkerung. Schließlich konnte die Weinstube „Schellenturm“ am 14. Juni 1980 auf zwei Etagen unter dem Dach von 3.500 handgefertigten Nonnenziegeln ihren Betrieb aufnehmen.
Im März 1997 sorgte der Schellenturm mit der sogenannten „Stammtisch-Affäre“ für politischen Wirbel und entsprechende Schlagzeilen. Der Leiter der Steuerabteilung im Finanzministerium soll seinem Tischnachbarn in der Weinstube die bevorstehende Verhaftung von dessen geschäftlichen Konkurrenten verraten haben, worauf dieser von der Ehefrau des Tischnachbarn gewarnt worden war. Die „Affäre“ führte zu einer Rücktrittsforderung der Opposition an den damaligen Finanzminister Gerhard Mayer-Vorfelder.