Das sogenannte Lotter‘sche Haus am Marktplatz 5, zwischen Schulstraße und Bandgasse, war ab 1766 für knapp 80 Jahre im Besitz der namensgebenden Kaufmannsfamilie Lotter. Laut Bauakte handelte sich dabei um eine „4. stockigte [sic] Behausung mit Kaufladen und Magazinen“ sowie einem „gewölbten Keller“. Das mehrgeschossige Haus verfügte also neben Wohn- und Verkaufsräumen auch über verschiedene Lagerflächen und war folglich als Stammhaus für ein im Handel tätiges Familienunternehmen bestens geeignet.
Nach Tobias Friedrich Lotters Tod (1701-1778), der das Haus am 16. Juni 1766 für „Acht Tausend Gulden baargeld“ von Georg Heinrich Keller erworben und den Lotter‘schen Tuchhandel in Stuttgart etabliert hatte, bestand das Unternehmen noch zwei weitere Generationen. Zunächst führten sein Sohn Tobias Ludwig Lotter (1743-1814), ab 1796 seine Enkel Tobias Heinrich (1772-1834) und Georg Carl (1775-1834) den Handel weiter. 1840 verkaufte Carl Tobias Philotas Friedrich Lotter (1805-1884) das Haus; die Erwerbstätigkeit der Lotter‘schen Familienmitglieder hatte sich vom Kaufmannsdasein hin zu schreibenden bzw. verwaltenden Berufen oder zu Bankgeschäften gewandelt. Ein auf Warenhandel ausgerichtetes Gebäude mit Lager- und Verkaufsräumen wurde daher nicht mehr benötigt. Obwohl der Marktplatz 5 auch nach dem Verkauf durch Carl Lotter, abgesehen von einem kurzen Intermezzo, über Jahrzehnte im Besitz einer Familie war, stellte sich hinsichtlich der gewerblichen Nutzung des Gebäudes erst zu Beginn des 20. Jahrhunderts wieder Kontinuität ein.
Nach den Lotters gehörte der Marktplatz 5 für wenige Jahre Kaufmann August Fischer, bevor 1843 der Secklermeister Gottfried Schleicher neuer Besitzer wurde. Familie Schleicher scheint das Gebäude aber nicht nur für sich und ihre eigenen Geschäfte genutzt zu haben, sondern vermietete sowohl Wohn- als auch Geschäftsräume weiter. Daher beherbergte das Haus, das über zwei Ladengeschäfte verfügte – ein großes an der Seite zum Marktplatz, ein kleineres in der Schulstraße – in der zweiten Hälfte des 19. Jahrhunderts mehrere Bewohner und Betriebe; darunter Familie Schleicher selbst, die als Seckler, Kürschner, Pelzwarenhändler und Bäcker tätig waren. Daneben gingen dort unter anderem ein Konditor, ein Silberarbeiter, ein Hutmacher, ein Metzger, ein Graveur sowie ein Pfandleiher und Uhrmacher ihren Geschäften nach. Um 1910 erwarb dann schließlich Gustav Haufler, der bereits seit 1896 ein Papier- und Schreibwarengeschäft im Haus betrieb, den Marktplatz 5. In den nächsten Jahren wurde das Gebäude in der öffentlichen Wahrnehmung so eng mit der Familie Haufler und deren Ladengeschäft verknüpft, das aus dem Lotter‘schen Haus das Haufler‘sche Haus wurde.
Das am zentralen Platz der Stadt gelegene Haus wurde spätestens seit Anfang des 16. Jahrhunderts als Geschäftshaus genutzt. So unterhielt beispielsweise der Ulmer Patrizier Hans Besserer dort eine Handelsgesellschaft. Auf ihn geht vermutlich auch die Stiftung der an der Fassade des Erdgeschosses angebrachten Steinfiguren des Hl. Christophorus und der Hl. Anna zurück. Ob insbesondere mit der Wahl des Hl. Christophorus, der unter anderem als Schutzpatron der Reisenden sowie zahlreicher produzierender und verkaufender Gewerbe gilt, daneben aber auch zu Wohlstand verhelfen soll, auf eine mit diesem Haus bereits länger verknüpfte Handelstradition hingewiesen werden sollte oder es sich um eine Anspielung auf die Kinder Herzog Ulrichs (1487-1550) handelte, muss offenbleiben.
1614 errichtete der aus Herrenberg stammende württembergische Hofbaumeister Heinrich Schickhardt (1558-1653) an Stelle des mittelalterlichen Fachwerkbaus den später als Lotter‘sches bzw. Haufler‘sches Haus angesprochenen vierstöckigen Bau. Lediglich der Keller sowie das gemauerte Erd- und Zwischengeschoss des Vorgängerbaues blieben erhalten. An der Schauseite zum Marktplatz hin gestaltete Schickhardt das Haus im Stil der Spätrenaissance mit Erkern und offenen Balkonen. Auftraggeber dieser umfangreichen Maßnahmen, die einem Neubau gleichkamen, war der Tuchhändler Christoph Keller.
Weitere Umbaumaßnahmen, sowohl im Inneren als auch an der Fassade des Hauses folgten vor allem ab der zweiten Hälfte des 18. Jahrhunderts. Im Regelfall waren diese Umbauten dem Wunsch nach größerem Wohnkomfort geschuldet bzw. passten das Haus an veränderte Wohnstandards an. Dazu gehörte, als das Haus im Besitz der Familie Lotter war, beispielsweise die Verlegung der Küche oder der Einbau weiterer beheizbarer Stuben und Kammern auf einem der Dachböden. In späteren Jahren folgten der Einbau sanitärer Anlagen, einer Waschküche sowie einer Heizung. Aber auch die verschiedenen dort ansässigen Gewerbe sowie der Wandel der Verkaufskultur hinterließen ihre Spuren: die beiden Ladengeschäfte wurden mehrfach umgestaltet, Türen und Fenster verlegt, Schaufenster eingesetzt, erst ein Konditorofen, dann eine Feuerstelle sowie ein Schmelzofen zur Edelmetallbearbeitung und eine Backstube ein- und wieder ausgebaut. Gustav Haufler schließlich ließ in den 1930 Jahren eine rote bzw. blaue Neonleuchtschrift mit dem Schriftzug ‚Haufler‘ anbringen. Aber auch die Zeitläufte wirkten sich auf die Struktur des Gebäudes aus: 1939 wurden im Keller ein Luftschutzraum und ein Notausstieg eingerichtet.
Nach der totalen Zerstörung des Hauses im Zweiten Weltkrieg, lediglich das Kellergeschoß war kaum beschädigt worden, wurde in den 1950er Jahren an gleicher Stelle ein vierstöckiges Geschäfts-und Bürogebäude gemäß des Stadtbauplans errichtet.
Literarisch verewigt wurde das Haus am Marktplatz 5 von Eduard Mörike in seinem 1853 erschienenen Märchen Das Stuttgarter Hutzelmännchen: Zwei Protagonisten der Geschichte, Seppe und Vrone, lässt er nach der Hochzeit in „ein merkwürdiges altes Haus, vornher versehen mit drei Erkern, davon ein paar auf den Ecken gar heiter, wie Thürmlein, stehn, mit Knöpfen und Windfahnen; hüben und drüben, unterhalb der Eck-Vorsprünge, zwei Heiligenbilder aus Stein gehauen“ am Stuttgarter Marktplatz ziehen.