Conrad Haußmann und sein Zwillingsbruder Friedrich wurden am 8. Februar 1857 in Stuttgart geboren. Vater Julius (1816-1889) gehörte in den 1860er Jahren mit Karl Mayer (1819-1889) und Ludwig Pfau (1821-1894) zu den Gründern der württembergischen Volkspartei. Deren Programm formulierten die drei Politiker in der Zeitung „Stuttgarter Beobachter“, ihr Vorbild war die direkte Demokratie der Schweiz. Zugleich bekämpften sie eine deutsche Nationaleinigung unter preußischer Führung, wie sie in Württemberg von der Deutschen Partei propagiert wurde. Das Gegenbild zum militärischen Drill Preußens bildete für die Demokraten erneut die Schweiz mit ihrem Milizheer. Wie in der Schweiz wünschten die württembergischen Demokraten Gemeindeversammlungen mit freier Wahl der Richter und Beamten.
Bei den Wahlen zum Zollparlament 1868 wie auch bei den nachfolgenden Landtagswahlen konnten die Demokraten Erfolge verzeichnen. Nach dem Sieg Preußens im Deutsch-Französischen Krieg und der Reichseinigung nahm der Wähleranteil der Demokraten massiv ab, sodass diese bis zur Mitte der 1890er Jahre kaum Einfluss nehmen konnten.
Die Brüder Friedrich und Conrad Haußmann legten 1876 ihr Abitur auf dem Stuttgarter humanistischen Gymnasium, dem späteren Eberhard-Ludwigs-Gymnasium, ab. Zwischen 1876 und 1880 studierten sie in München, später in Zürich, Berlin und Tübingen Jura. Auf das erste Staatsexamen 1880 folgte das zweite drei Jahre später. Unmittelbar im Anschluss hieran ließen sich die Gebrüder Haußmann als Anwälte in Stuttgart nieder, das Büro befand sich in der Paulinenstraße 12. 1884 schlossen sie sich mit Theodor Diefenbach zusammen, zugleich erfolgte der Umzug in die Tübinger Straße 6. Nicht nur beruflich, sondern auch familiär waren die Brüder Haußmann zeitlebens eng verbunden. Seit 1895 lebten beide mit ihren Familien in einem Doppelhaus in der Hohenzollernstraße 18/20.
Politisch folgten die Söhne den Idealen des Vaters und gehörten seit 1885 dem Zentralkomitee der Volkspartei an. 1889 wurde Conrad Haußmann in den Stuttgarter Landtag gewählt, sein Bruder folgte ihm zwei Jahre später. Bereits in seiner ersten Rede verlangte Conrad Haußmann eine grundlegende Reform der Verfassung des Königreichs Württemberg. Diese bestand seit 1819 ohne wesentliche Veränderung: In einem Zweikammersystem setzte sich die I. Kammer aus den Prinzen des königlichen Hauses, Vertretern der mediatisierten Fürsten und vom König ernannten Mitgliedern zusammen. 70 Abgeordnete der II. Kammer wurden in den Ämtern und Städten gewählt. Außer diesen gehörten der II. Kammer noch 23 sogenannte Privilegierte an, bei denen es sich um Vertreter des ritterschaftlichen Adels, der Universität Tübingen sowie der evangelischen und katholischen Kirche handelte. Conrad Haußmann forderte seinerseits die Schaffung einer einzigen Kammer, die sich ausschließlich aus vom Volk gewählten Abgeordneten zusammensetzen sollte. Für ein derartiges Verfassungsmodell fehlten am Beginn der 1890er Jahre freilich die Mehrheiten.
1894 legte Ministerpräsident Hermann Mittnacht (1825-1909) einen ersten Entwurf für eine Verfassungsreform vor. Gemäß diesem sollte ein Teil der privilegierten Abgeordneten von der II. in die I. Kammer versetzt werden. Außerdem sollte die II. Kammer eine stärker ständestaatliche Prägung erhalten, hier sollten neben vom Volk gewählten Abgeordneten auch Vertreter der Landwirtschaft sowie von Handel und Gewerbe Platz nehmen. Diese erste Reformvorlage wurde von Haußmann wie auch der Mehrheit des Landtags insgesamt abgelehnt, sodass die Regierung den Entwurf zurückzog.
Die Landtagswahl 1895 führte zu einer grundsätzlichen politischen Wende: Die von den Brüdern Haußmann und ihrem langjährigen politischen Weggefährten Friedrich Payer (1847-1931) angeführten Demokraten stiegen mit 31 der 93 Mandate in der II. Kammer zur stärksten politischen Kraft auf, während die bislang dominierende Deutsche Partei herbe Verluste hinnehmen musste. Payer wurde nunmehr Kammerpräsident, zwei Jahre später legte Ministerpräsident Mittnacht einen zweiten Reformentwurf vor, der den Vorstellungen Haußmanns bereits näherkam. Jetzt war Mittnacht bereit, sämtliche Privilegierte von der II. in die I. Kammer zu versetzen, sodass sich die II. Kammer nur noch aus vom Volk gewählten Abgeordneten zusammengesetzt hätte. Auch dieser Entwurf für eine Verfassungsreform scheiterte, dieses Mal am Widerstand der katholischen Zentrumspartei. Ursprünglich hatte diese ihre Zustimmung signalisiert, dann jedoch bemerkt, dass durch die Versetzung der Privilegierten in die I. Kammer die dort bislang bestehende katholische Mehrheit verloren gehen würde.
Nachdem sich die Demokraten bei der Landtagswahl 1900 weitgehend behaupten konnten, kam endlich der von Haußmann gewünschte Reformprozess in Gang. Noch 1901 verabschiedete der Landtag eine große Steuerreform, die u.a. die Einführung einer progressiven Einkommensteuer beinhaltete. Zugleich isolierte sich das Zentrum in der Landespolitik, nachdem die katholische Mehrheit in der I. Kammer 1904 einem Gesetzentwurf die Zustimmung verweigert hatte, gemäß dem die Bezirksaufsicht über die Volksschulen auf Laien übertragen werden sollte. Daraufhin bildete sich eine recht breite Koalition gegen das Zentrum, die am 9. Juli 1906 mit Dreiviertelmehrheit die Verfassungsreform beschließen konnte. Ganz entsprechend den Wünschen Conrad Haußmanns wurden nun sämtliche Privilegierte in die I. Kammer versetzt. Die II. Kammer setzte sich jetzt aus 69 Abgeordneten zusammen, die in den Städten und Oberämtern nach dem Mehrheitswahlrecht gewählt wurden. Sechs Abgeordnete der Stadt Stuttgart sowie 17 Abgeordnete auf zwei Landeslisten wurden nach dem Proporzwahlrecht ermittelt. Auch dies war ein Anliegen Haußmanns gewesen, galt doch das Proporzwahlrecht als besonders gerecht, da es Minderheiten besser berücksichtigt. Zum Bedauern Haußmanns wurden 1906 die Rechte der I. Kammer in der Finanzgesetzgebung gestärkt. Auch wollte Haußmann 1907 die Verfassungsreform noch weiter vorantreiben, nunmehr forderte er den Übergang zum parlamentarischen System, die Staatsregierung sollte künftig nicht mehr vom König frei ernannt werden, sondern ausdrücklich vom Vertrauen des Landtages abhängig sein. Diese Forderung hat Haußmann während des Kaiserreichs noch zweimal, 1917 und 1918, erfolglos wiederholt.
Einen letzten landespolitischen Erfolg bedeutete für Haußmann 1907 die Verabschiedung der Gemeindereform. In deren Rahmen wurde entsprechend seinen Vorstellungen die Institution des lebenslänglich gewählten Schultheißens abgeschafft.
Zwar bedeutete die Verfassungsreform für ihn einen politischen Triumph, zugleich jedoch einen schweren persönlichen Schlag. Bruder Friedrich hatte sich bei der intensiven Beratung der Verfassungsreform in den Landtagskommissionen überarbeitet. Am Ende einer Rede im Stuttgarter Landtag erlitt er einen Schlaganfall, eineinhalb Jahre später verstarb er im November 1907.
Nach der Verabschiedung der Verfassungsreform wandte sich Conrad Haußmann verstärkt der Reichspolitik zu. Schon seit 1890 gehörte er dem Reichstag an, in dem er gegen Ausnahmegesetze sowie Aufrüstung kämpfte, während er sich gleichzeitig für internationale Verständigung einsetzte. 1908 unterzog er in einer viel beachteten Rede im Nachgang zur Daily-Telegraph-Affäre das persönliche Regiment des Kaisers einer scharfen Kritik. Wie im Stuttgarter Landtag forderte er auch im Reichstag die Einführung des parlamentarischen Systems.
Im Vorfeld des Ersten Weltkrieges bemühte sich Haußmann intensiv auf Parlamentarierkonferenzen in Bern und in Basel um Kontakte zu französischen Abgeordneten und um Ausgleich der internationalen Spannungen. Diese Bemühungen setzte er auch während des Krieges fort, freilich ohne Erfolg.
Wenig erfolgreich war ebenfalls seine kurze Tätigkeit als Staatssekretär ohne Geschäftsbereich in der Reichsleitung des Prinzen Max von Baden. Dagegen gelang es ihm, im November 1918 sämtliche liberalen und demokratischen Kräfte Württembergs in der Deutsch-Demokratischen Partei Württemberg zu vereinen. Bereits 1910 war es u.a. das Verdienst Haußmanns, dass sich die drei damals konkurrierenden linksliberalen Gruppierungen in der Fortschrittlichen Volkspartei vereinigten. Kurz nach dem Umbruch 1918 schlossen sich in der Stuttgarter Wohnung Haußmanns die Fortschrittliche Volkspartei und die württembergischen Nationalliberalen zur württembergischen DDP zusammen.
Auf Reichsebene gehörte Haussmann zu den Vätern der Weimarer Reichsverfassung, deren Name auf ihn zurückgeht, auch veröffentlichte er im Stuttgarter Kohlhammer Verlag einen ersten Verfassungskommentar. Leidenschaftlich kämpfte er auf Reichsebene gegen den Versailler Vertrag mit der Behauptung der alleinigen deutschen Kriegsschuld. Innenpolitisch verteidigte er die Kabinette der Weimarer Koalition bzw. die Minderheitskabinette aus Zentrum und DDP. Im Stuttgarter Landtag machte sich Haußmann einen Namen als zuverlässiger Vertreter des Mittelstandes. Bei der Verabschiedung der neuen württembergischen Verfassung war es sein Verdienst, deren Bestimmungen mit der Weimarer Verfassung in Einklang zu bringen.
Haußmann erkrankte im November 1921 an einer Grippe, von der er sich nicht mehr erholte. Er starb am 11. Februar 1922 und wurde im Familiengrab in Stuttgart-Heslach beigesetzt.
Neben seiner politischen Tätigkeit hat Haussmann intensiven Kontakt zu Dichtern und Schriftstellern wie beispielsweise Hermann Hesse (1877-1962) gepflegt, auch veröffentlichte er selbst Nachdichtungen chinesischer und arabischer Lyrik. Folglich war Hesse ein häufiger Gast Haußmanns in Stuttgart und zugleich ein angeregter Gesprächspartner zu Themen wie fernöstlicher Kultur, zur deutschen Literaturgeschichte, aber auch zu Metrik und Mundart. Hesse hat Haußmann schließlich als einen feurigen Redner und warmherzigen Menschen gewürdigt. Es habe sich bei diesem um einen prachtvollen Vertreter schwäbischer Art und schwäbischen Geistes gehandelt.