Nach seiner Schulzeit in Mainz hatte Schmitt in Freiburg, Straßburg und Gießen studiert, wo er 1914 mit einer Arbeit zum Südportal des Wormser Doms zum Dr. phil. promoviert wurde. Danach war er 1914/15 zunächst in der Denkmalpflege tätig und bearbeitete als Assistent des Kunsthistorikers Rudolf Kautzsch (1868-1945) das Inventar der Kunstdenkmäler der Stadt Mainz. Nachdem Kautzsch Professor in Frankfurt geworden war, sorgte er für die Anstellung Schmitts, der von 1915 bis 1919 – unterbrochen durch einen Kriegseinsatz 1916/17 – Assistent am Kunsthistorischen Institut der Universität Frankfurt war, wo er sich 1919 habilitierte. Im Dezember 1924 ernannte man ihn zum außerordentlichen Professor der Kunstgeschichte an der Universität Frankfurt.
Schmitt veröffentlichte in den zwanziger Jahren mehrere Ausstellungs- und Sammlungskataloge, außerdem mehrere umfangreiche Bücher und Aufsätze. Mit dem für die Dissertation gewählten Thema hatte Schmitt Forschungen zur Geschichte der hoch- und spätmittelalterlichen Plastik in Deutschland begonnen, denen er zeitlebens verbunden blieb. Ihn interessierten besonders die französischen Vorbilder und deren Rezeption am Oberrhein, in Schwaben und im Elsass. Mit der Habilitationsschrift zum Heiligen Grab im Freiburger Münster und umfangreichen Werken zur Geschichte der Skulptur am Oberrhein behandelte Schmitt nicht nur Probleme der Stilgeschichte, sondern erörterte zudem die ikonografischen Fragen und historischen Zusammenhänge. Auch später befasste er sich immer wieder mit Problemen aus dem Themenkreis der mittelalterlichen Skulptur, machte etwa den berühmten Mainzer „Kopf mit der Binde“ vom zerstörten Westlettner des Mainzer Doms bekannt und stellte ihn als Werk des Naumburger Meisters vor. Ferner schrieb er als Erster das Grabmal der Mechtild von Württemberg in der Tübinger Stiftskirche dem Bildhauer Hans Multscher zu und stellte die Bedeutung Nicolaus Gerhaerts von Leyden für die oberrheinische Plastik dar. Schmitt bemühte sich dabei immer, seine Überlegungen in einer verständlichen Sprache darzustellen; außerdem war er ein überaus beliebter Vortragsredner, dessen Temperament und Vermittlungsgabe anerkannt und geschätzt wurden: ein Wesenszug, der in vielen Würdigungen Schmitts aufscheint und schließlich 1925 auch seine Berufung an die Universität Greifswald förderte.
Hier wandte sich Schmitt anderen Arbeitsgebieten zu, beschäftigte sich mit gotischer Architektur in Norddeutschland und mit dem Werk des Malers Caspar David Friedrich (1774-1840). Unter seiner Leitung wurde die mehrfach von Friedrich gemalte Klosterruine Eldena freigelegt und gesichert. Seit 1927 kam die Arbeit am „Reallexikon zur Deutschen Kunstgeschichte“ hinzu, für das ihn der Stuttgarter Verleger Alfred Druckenmüller (1882-1967) als Herausgeber gewonnen hatte. Schmitt übernahm auch die redaktionelle Vorbereitung des Werkes, dessen erster Band 1937 in Stuttgart erschien und das er bis zu seinem Tod 1951 betreute. Es sollte ein Nachschlagewerk entstehen über Kunstwerke als Zeugnisse der materiellen Kultur und Ergebnisse künstlerischen Gestaltens. Im Jahr 1933 konnte der erste Faszikel erscheinen. Schmitt gewann für das Lexikon einen breiten Autorenkreis, der Kollegen und Schüler einschloss.
Aufgrund seiner ablehnenden Haltung dem Nationalsozialismus gegenüber schlugen mehrere Versuche fehl, an eine andere Universität zu wechseln. Erst 1935 wurde er als Nachfolger des bereits 1930 emeritierten Heinrich Weizsäcker (1862-1945) an die Technische Hochschule nach Stuttgart berufen, was die Zusammenarbeit mit dem Verleger des Reallexikons erleichterte.
Die Kunstgeschichte gehörte an der Technischen Hochschule seit der Gründung der „Vereinigten Kunst-, Real- und Gewerbeschule“ 1829 zu den Lehrfächern; zunächst allerdings zu den sogenannten „allgemein bildenden“ Fächern, nicht wie etwa in Karlsruhe zur Architektur. Erst seit 1908 war es Prüfungsfach für Architekturstudenten, die sich Kenntnisse in den historischen Stilen anzueignen hatten. In der Nachkriegszeit wurde den allgemein bildenden Fächern wie der Kunstgeschichte besondere Bedeutung beigemessen, da die Rektorenkonferenz 1947 in Darmstadt beschlossen hatte, dass Studierende an Technischen Hochschulen zusätzlich zum Fachstudium sogenannte Bildungsfächer belegen sollten. Bereits 1943 war Schmitt Leiter der „Abteilung für Geisteswissenschaften und Bildungsfächer“, 1946 wurde er Dekan der Fakultät für Natur- und Geisteswissenschaften („Allgemeine Fakultät“), ebenso 1947/48.
Schmitt war entscheidend am Wiederaufbau der Hochschule beteiligt, wobei ihm sein hohes wissenschaftliches Ansehen ebenso wie seine persönliche Integrität und politische Unbescholtenheit zu Hilfe kamen. Es ging dabei sowohl um die personelle Erneuerung mit der Neubesetzung wichtiger Lehrstühle als auch um die Neuerrichtung der zerstörten Gebäude und die Organisation des Lehrbetriebs unter schwierigsten Bedingungen. Schmitt war schon seit 1945 Vorsitzender des Hochschulplanungsausschusses, der für den Wiederaufbau des Hauses Keplerstraße 10, später des Hauptgebäudes in der Seestraße und des Instituts für Anorganische Chemie zuständig war. Von 1945 bis 1947 hatte er den Vorsitz der politischen Kommission der Hochschule und des Studentenwerks, 1945 bis 1948 des Betriebsrates inne. Zweimal, von 1948 bis 1949 und 1949 bis 1950, war er Rektor der Hochschule und verantwortlich für deren umfassende Reform und Erneuerung. Er sorgte dafür, dass im Senat und den übrigen Gremien neben der Professorenschaft auch die Dozenten, Assistenten und Studierenden vertreten waren, und betrieb aktiv die Öffnung der Institution nach außen. Des Weiteren regte er die Wiedergründung der „Vereinigung der Freunde der Hochschule“ an und rief einen Hochschulbeirat ins Leben.
Die erhaltene dienstliche und private Korrespondenz der unmittelbaren Nachkriegszeit spiegelt die vielfältigen organisatorischen Probleme, die sich aus den Schäden und Zerstörungen der Kriegszeit beim Wiederaufbau der Hochschule, bei der Integration der Spätheimkehrer aus der Kriegsgefangenschaft in den Studienbetrieb und beim Aufbau eines neuen Kollegiums ergaben. Ebenso zeigten sich die Schwierigkeiten, mit der eigenen wissenschaftlichen Tätigkeit wieder einzusetzen; nicht zuletzt mehrten sich Hinweise auf Schmitts angegriffenen Gesundheitszustand.
Neben den universitären Verpflichtungen war Schmitt seit 1948 bis zu seinem Tod Zweiter Vorsitzender des neu gegründeten Verbands Deutscher Kunsthistoriker, von 1945 bis 1948 Vorsitzender des Württembergischen Geschichts- und Altertumsvereins, Mitglied des Rundfunkrates und als Delegierter des Württembergischen Landtages 1949 Mitglied der Bundesversammlung zur Wahl des ersten deutschen Bundespräsidenten. Am 23. Juli 1951 verstarb Otto Schmitt in Ulm unerwartet an einem Herzleiden, an dem er seit längerem gelitten hatte.