Hermann Otto Karl Elben wurde am 30. Januar 1823 in Stuttgart als Sohn von Karl Elben, Mitbesitzer des Schwäbischen Merkurs, geboren. Nach dem Studium der Rechtwissenschaften in Tübingen 1841 bis 1844 und anschließendem Referendariat unter anderem am Kriminal- und Stadtgericht Stuttgart unternahm Elben 1846/1847 eine Bildungsreise, die ihn durch ganz Deutschland sowie Nord-, West- und Südeuropa führte. 1847 trat er in die Redaktion des Schwäbischen Merkurs ein. Als sein Vater 1854 starb, übernahm er für 33 Jahre die Chefredaktion des Blattes; fast bis an sein Lebensende wirkte er als Besitzer und arbeitete, obwohl bereits erblindet, an der Ausgestaltung der Zeitung mit.
Einer der Höhepunkte der Tätigkeit Elbens als Journalist war 1885 die Feier des hundertjährigen Bestehens des Schwäbischen Merkurs. Aus diesem Anlass verfasste Elben eine umfangreiche Festschrift, in der er nicht nur die Entwicklung der Zeitung schilderte, sondern zugleich ein umfassendes Panorama über Politik und Gesellschaft in Stuttgart während der zurückliegenden hundert Jahre entwickelte. Außerdem schätzten die Zeitgenossen die biographischen Studien Elbens über bedeutende Persönlichkeiten Württembergs aus Politik, Gesellschaft und Kultur wie auch das Feuilleton des Blattes.
Das politische Engagement Elbens setzte 1847 mit der Rückkehr von seiner Bildungsreise ein. In Großbritannien, Frankreich und in einigen italienischen Staaten hatte er die Arbeit der Schwurgerichte kennengelernt, die er in einer Veröffentlichung dem deutschen Publikum vorstellte und deren Schaffung er auch in Württemberg wünschte. In gleicher Weise setzte er sich für Pressefreiheit ein und agitierte für die Durchsetzung der Reichsverfassung, wobei er sich selbst auf dem rechten Flügel des 1848 von August Oesterlen begründeten Stuttgarter Volksvereins verortete. Während der Revolution wurde der Schwäbische Merkur zwar wiederholt von der Regierung für Stellungnahmen herangezogen, gleichwohl lehnte es Elben ab, das Blatt durch Beilage des 1850 gegründeten Staatsanzeigers quasi zum Regierungsorgan umzugestalten. Vielmehr legte er Wert darauf, die Unabhängigkeit seiner Zeitung zu verteidigen. An diesem Grundsatz hielt er auch später fest: Wenngleich er der Deutschen Partei die Spalten des Schwäbischen Merkurs öffnete, so übernahm dieser gleichwohl nicht die Funktion eines Parteiblattes. Auch während der 1850er Jahre setzte Elben sein politisches Engagement fort, von 1851 bis 1853 sowie von 1854 bis1856 gehörte er dem Stuttgarter Bürgerausschuss und dem Ausschuss des örtlichen Gewerbevereins an. Genauso trat er publizistisch weiterhin für liberale Ziele ein. So kämpfte er unter anderem gegen die Beschneidung der Gemeindeautonomie wie auch gegen die Wiedereinführung der Zensur.
Ab 1859 profilierte sich Elben als Vorkämpfer einer deutschen Nationaleinigung unter preußischer Führung. So war er Mitunterzeichner des Aufrufs „An unsere Mitbürger“. Die Verfasser dieses Aufrufs gingen davon aus, dass sich der Krieg zwischen Österreich und Sardinien-Piemont auch auf Deutschland ausweiten würde und forderten unter dieser Voraussetzung eine kleindeutsch-preußische Nationaleinigung sowie die Schaffung eines gesamtstaatlichen Parlaments. Auch nahm Elben 1859 an der Gründungsversammlung des Deutschen Nationalvereins teil, allerdings ohne diesem beizutreten. Im gleichen Jahr gehörte er zu den Organisatoren der Feierlichkeiten aus Anlass des 100. Geburtstags von Friedrich Schiller (1759-1805), genauso wie er zwei Jahre später maßgeblichen Anteil an der Ausrichtung des „Kongresses deutscher Volkswirte“ in Stuttgart hatte. Über beide Ereignisse berichtete Elben umfassend im Schwäbischen Merkur und in beiden Fällen ist er als Festredner aufgetreten. Auf dem Kongress sprach er über den Staats- und Wirtschaftstheoretiker Friedrich List (1789-1846). Dieser – wie auch Schiller – stellten für Elben herausragende Identifikationsfiguren der deutschen Nationalbewegung dar.
Die Organisation der Schillerfeier 1859 übernahm Elben nicht zuletzt als Vorstandsmitglied des Stuttgarter Liederkranzes: Diesem gehörte er seit 1847 an, zwei Jahre später war es ihm gelungen, die verschiedenen Sängervereine Württembergs im Schwäbischen Sängerbund zu vereinigen. 1862 hatte er schließlich maßgeblichen Anteil an der Gründung des Deutschen Sängerbundes, auch organisierte er 1865 dessen erstes Bundesfest in Dresden. Die Vereinigung der deutschen Sänger war für Elben zugleich der Vorgriff auf die angestrebte politische Einigung Deutschlands. Als Vorstand des Stuttgarter Liederkranzes bemühte sich Elben außerdem darum, diesem eine eigene Heimstatt zu schaffen. Infolge seiner Initiative wurde 1863 der Bau der Liederhalle in Angriff genommen, im Jahr darauf konnten Vorderhaus und Konzertsaal eingeweiht werden, 1875 der Festsaal.
In der politisch aufgeheizten Öffentlichkeit der 1860er Jahre war Elben seit 1863 aktives Mitglied im Stuttgarter Schleswig-Holstein-Komitee. Als es drei Jahre später über die schleswig-holsteinische Frage zum Konflikt zwischen Österreich und Deutschland kam, plädierte er im Schwäbischen Merkur für Neutralität und nach der Niederlage Österreichs bei Königgrätz für einen raschen Waffenstillstand mit Preußen. Als Mitbegründer der nunmehr entstandenen Deutschen Partei billigte er die Erneuerung des Zollvereins, die „Schutz- und Trutzbündnisse“ und das neue Militärdienstgesetz, durch das das württembergische dem preußischen Heeresreglement angepasst wurde. Zugleich bekämpfte er den im Frieden von Prag 1866 ins Spiel gebrachten Gedanken eines Südbundes aus Bayern, Württemberg und Baden, der von der Volkspartei unterstützt wurde.
War Elben 1868 bei den Wahlen zum Zollparlament noch durchgefallen, so wurde er im gleichen Jahr erstmals für den Oberamtsbezirk Böblingen in den Landtag gewählt, wo er neben Julius von Hölder (1819-1887) zum Spitzenvertreter der Deutschen Partei aufstieg. Als solcher wurde er am 28. Juli 1870 zusammen mit mehreren Abgeordneten vom preußischen Kronprinzen Friedrich Wilhelm (1831-1888) im Rahmen einer Audienz empfangen, um mit diesem die politische Situation in Württemberg zu erörtern. Wenige Wochen später trat Elben nach den ersten Grenzschlachten mit einer für Bismarck bestimmten Denkschrift an den preußischen Gesandten heran, in der er noch während des Kriegs die Schaffung eines deutschen Nationalstaats und eines deutschen Parlaments wünschte. Zugleich sollte gemäß Elbens Ausführungen jede Einmischung dritter Mächte in den Deutsch-Französischen Krieg zurückgewiesen und Elsass-Lothringen an das neue Deutsche Reich abgetreten werden. Als trotz der Agitation Elbens das württembergische Königshaus mit dem Beitritt zum Norddeutschen Bund zögerte, trat Elben in einen umfangreichen Briefwechsel mit Rudolf von Bennigsen (1824-1902) und Eduard Lasker (1829-1884), den führenden Vertretern der preußischen Nationalliberalen, die ihn wiederum ermunterten, in seinem Eintreten für die deutsche Nationaleinigung in Württemberg nicht nachzulassen.
1871 wurde Elben in den Reichstag gewählt. Hier schloss er sich der nationalliberalen Fraktion an und setzte sich vor allem mit Fragen des inneren Reichsausbaus auseinander, insbesondere engagierte er sich auf dem Feld der Eisenbahnpolitik. So forderte er nachdrücklich die Subvention der Gotthardbahn. Auch sollten die Zubringerlinien zu deren Hauptachse gestärkt werden. Elben hatte insbesondere den Ausbau einer Linie vom Fuße des Gotthards über Zürich, Schaffhausen nach Stuttgart und nach Berlin im Blick. Jedoch sollte es erst 1898 zu einem entsprechenden Ausbau kommen. Außerdem beantragte Elben 1873 erfolgreich die Schaffung eines Reichseisenbahnamtes; auf diese Weise wollte er der Zersplitterung der Kompetenzen auf dem Gebiet des Eisenbahnwesens abhelfen. Da das nunmehr entstandene Reichseisenbahnamt aber über noch viel zu wenig Kompetenzen verfügte, wollte Elben einen Schritt weitergehen, weshalb er am 30. März 1876 im Stuttgarter Landtag die Übertragung des Eisenbahnwesens auf das Reich insgesamt forderte. Dieser Wunsch stieß auf breite Ablehnung. Elben war fortan als Unitarist verschrien, was zu seiner Abwahl aus dem Reichstag 1877 beitrug.
Um im Stuttgarter Landtag auch als Reichstagsabgeordneter weiterhin präsent sein zu können, hatte Elben schon zuvor erfolgreich beantragt, dass die beiden Parlamente ihre Sitzungen jeweils zu verschiedenen Zeiten abhielten. Im Stuttgarter Landtag wirkte er bei einer Überarbeitung der Geschäftsordnung mit, aber auch hier standen Eisenbahnfragen im Vordergrund. Schon 1864 hatte sich Elben den Forderungen nach einer Stammlinie für eine zukünftige Schwarzwaldbahn von Stuttgart nach Böblingen angeschlossen. Diese Linie sollte sowohl nach Tübingen als auch nach Horb fortgesetzt werden und außerdem sollten über Eutingen Verbindungen nach Freudenstadt wie auch nach Calw hergestellt werden. Das Projekt scheiterte indes in den 1860er Jahren, da Außen- und Verkehrsminister Karl Freiherr von Varnbühler (1809-1889) die Streckenführung einer Schwarzwaldbahn von Stuttgart über Leonberg nach Calw bevorzugte. 1874 jedoch waren die Bemühungen Elbens erfolgreich. Nunmehr kam es zum Ausbau einer Nordost-Südwest-Strecke, die von Schwäbisch Hall über das Murrtal nach Stuttgart und von dort aus weiter nach Böblingen und Eutingen in den Schwarzwald bzw. nach Horb in Richtung Schweizer Grenze führte. Ebenfalls erfolgreich setzte sich Elben für den Ausbau der Linie Kißlegg-Wangen ein.
Während des Landtags 1879/1881 legte Elben schließlich einen Überblick über die Bahnprojekte der letzten 15 Jahre vor, genauso wie er auf die Bedeutung des Ausbaus von Nebenbahnen hinwies. 1882 schied Elben schließlich aus der Landespolitik aus.
Auch in den 1880er Jahren galt Elbens Engagement weiterhin der Sängerbewegung. Nachdem er bereits 1855 eine Geschichte des Männergesangs in Deutschland veröffentlicht hatte, erschien diese 1887 aus Anlass des 25. Jubiläums der Gründung des Deutschen Sängerbundes in zweiter, stark überarbeiteter und erweiterter Auflage. Am Stuttgarter Sängertag 1896 konnte Elben, da er bereits gesundheitlich angeschlagen war, nicht mehr teilnehmen, jedoch wurde er in Abwesenheit zum Ehrenmitglied des Deutschen Sängerbundes ernannt. Elben starb am 28. April 1899 in Stuttgart und wurde auf dem Pragfriedhof beigesetzt.