Hölder wurde am 24. März 1819 als Sohn eines Beamten des württembergischen Kriegsministeriums in Stuttgart geboren. Nach dem Schulbesuch in seiner Heimatstadt durchlief er zunächst eine Ausbildung beim Kameralamt Heilbronn, um anschließend von 1837 bis 1841 in Tübingen Jura zu studieren. Seine ersten beruflichen Stationen führten Hölder nach Ellwangen und Ulm sowie erneut nach Ellwangen. Während des Revolutionsjahres 1848 berief Innenminister Gustav von Duvernoy (1802-1890) den jungen und talentierten Beamten schließlich in sein Ministerium nach Stuttgart. Hier war Hölder mit Fragen der Ablösung der Feudallasten betraut.

1848 hatte Hölder noch in Ellwangen an der Gründung des Vaterländischen Vereins mitgewirkt, jedoch wandte er sich schließlich den Demokraten zu und stieg zum Mitglied im Landesausschuss der Volksvereine in Stuttgart auf. 1849 wurde er erstmals für das Amt Stuttgart in den Landtag gewählt. In diesem gehörte er als Schriftführer dem „Fünfzehner-Ausschuss“ an, der sich darum bemühte, mit allen gesetzlichen Mitteln König Wilhelm I. (1781-1864) zur Annahme der Reichsverfassung zu veranlassen. Eine gewaltsame Durchsetzung der Reichsverfassung lehnte Hölder jedoch ausdrücklich ab.

Während der Reaktionsdekade wurde Hölder durch den neuen leitenden Staatsminister Joseph von Linden (1804-1895) nur noch mit belanglosen Aufgaben betraut. Politisch gehörte Hölder zwar noch der zweiten Landesversammlung an, Kandidaturen zur dritten Landesversammlung wie auch für den Landtag 1852 waren jedoch erfolglos. Angesichts einer bevorstehenden Versetzung in die Provinz schied Hölder Anfang 1853 aus dem Staatsdienst aus und ließ sich als Anwalt in Stuttgart nieder. In diesen Jahren reorganisierte er die Allgemeine Rentenanstalt, die er später auch juristisch vertrat. Zur Bühne für das Wirken Hölders in den kommenden Jahrzehnten wurde jedoch ab 1856 der Stuttgarter Landtag: Hier trat er u.a. dadurch hervor, dass er als Abgeordneter Nachforderungen der Standesherren für die von ihnen erlittenen Verluste bei der Ablösung der Feudallasten erfolgreich zurückwies. Im Mai 1859 stellte Hölder schließlich in der Zweiten Kammer einen Antrag auf Schaffung eines deutschen Nationalstaates mit einer Volksvertretung. Zwar wurde der Antrag abgelehnt, gleichwohl markierte er in etwa das Ende der Reaktionsdekade bzw. die Neubelebung des politischen Lebens in Württemberg.

Am Beginn der 1860er Jahre war Hölder in der Kammer die Integrationsfigur von Liberalen und Demokraten, über mehrere Jahre versuchte er zwischen den unterschiedlichen Parteiflügeln auszugleichen. Ab 1864 bekannte er sich jedoch unzweideutig für eine deutsche Einigung unter preußischer Führung. Dementsprechend stimmte er 1866 als einer von nur wenigen Abgeordneten gegen die Bewilligung der Kriegskredite, als Württemberg auf Seiten Österreichs in den deutschen Bruderkrieg eintrat. Nach der Niederlage der Württemberger in der Schlacht bei Tauberbischofsheim kam es am 7. August 1866 auf einer Stuttgarter Versammlung unter Leitung Hölders schließlich zur Gründung der (nationalliberalen) Deutschen Partei, die sich für einen umgehenden Friedensschluss mit Preußen aussprach. In den folgenden Jahren begrüßte Hölder folglich den Abschluss der „Schutz- und Trutzbündnisse“ Württembergs mit Preußen und daraus resultierend die Reorganisation des württembergischen Heeres entsprechend der preußischen Wehrverfassung sowie schließlich die Erneuerung des Zollvereins.

In den ausgehenden 1860er Jahren blieb die Deutsche Partei auf einen kleinen Stuttgarter Führungszirkel beschränkt. Dagegen verfügten die Demokraten, die sich für die Schaffung eines föderalistisch-demokratischen Staatenbundes in Deutschland nach dem Vorbild der Schweiz einsetzten, über eine recht breitgefächerte Organisation in ganz Württemberg; auch konnten die Demokraten über das in Stuttgart erscheinende Parteiorgan „Beobachter“ verfügen. Erst der Ausbruch des deutsch-französischen Krieges führte zum Aufstieg der Deutschen Partei, die bis 1895 zur stärksten Kraft im Stuttgarter Landtag wurde. Hölder durfte es als Erfolg seines politischen Wirkens ansehen, als er im Dezember 1870 den Kommissionsbericht über den Beitritt Württembergs zum Deutschen Reich vor der Kammer begründete.

Jedoch sah sich Hölder, nachdem das Ziel einer deutschen Einigung unter preußischer Führung erreicht worden war, vor die Herausforderung gestellt, die heterogene Anhängerschaft seiner Partei zu einen. So gehörten der Deutschen Partei nicht nur Liberale wie Hölder an, die innenpolitische Reformen erstrebten, sondern auch pietistisch-konservative Kreise, die genau solchen Reformen distanziert gegenüberstanden. Zugleich fehlte nach der Erlangung der Reichseinheit der Deutschen Partei eine alle innerparteiliche Lager verbindende Zielperspektive. Hölder konnte die Anhänger der Deutschen Partei lediglich auf das Ziel einschwören, dass die offenen und verdeckten Feinde des Reiches und seiner Verfassung – Katholiken, Sozialisten und Demokraten – bekämpft werden müssten. Mit der fehlenden Langzeitstrategie der Partei gingen organisatorischer Verfall und programmatische Unschärfe einher. Infolge der äußerst mangelhaften Organisation der Deutschen Partei außerhalb des Landtages konnte Hölder 1872 nicht einmal einen Parteitag, sondern lediglich eine Vertrauensmännerversammlung einberufen. Diese lehnte aufgrund der stark auseinanderdriftenden Positionen schließlich einen Programmentwurf Hölders ab. Erst 1874 und nochmals 1881 verabschiedete die Deutsche Partei ein Programm, in dem innenpolitische Reformforderungen vage blieben. Vor allem bekannte sich die Partei zur Politik Reichskanzler Otto von Bismarcks (1815-1898) im Reich und zu der von Ministerpräsident Hermann von Mittnacht (1825-1909) in Württemberg. Trotz dieser programmatischen Unschärfen konnte Hölder nicht verhindern, dass sich die bisherigen protestantischen-konservativen Anhänger der Deutschen Partei 1876 abspalteten und nunmehr ein Landesverband der Deutsch-Konservativen Partei auch in Württemberg entstand.

Auch im Reichstag traten die Mitglieder der Deutschen Partei nicht geschlossen auf, teilweise schlossen sie sich der Freikonservativen Fraktion oder aber wie Hölder den Nationalliberalen an. Hölder, der 1871 zunächst u.a. in Göppingen und Gmünd gewählt wurde und für die Jahre 1875 bis 1881 das Stuttgarter Mandat errang, schied 1879 jedoch aus der nationalliberalen Fraktion aus. Denn anders als die Mehrheit der nationalliberalen Reichstagsfraktion befürwortete er den Übergang Bismarcks vom Freihandel zum Schutzzoll.

Im Stuttgarter Landtag konnte Hölder als Haupt der Deutschen Partei, 1872 bis 1875 als Landtagsvizepräsident und schließlich 1875 bis 1881 als Landtagspräsident eine Reihe von Reformen erreichen. So erhielt der Landtag 1874 Geschäftsordnungsautonomie und konnte seinen Präsidenten jetzt frei wählen. Auch gestand die Regierung dem Landtag die Gesetzesinitiative in Finanzangelegenheiten zu. Schließlich kam es 1876 zur Bildung des Staatsministeriums. Mit diesem Schritt verlor der Geheime Rat an Bedeutung. Bei diesem handelte es sich um ein oberhalb des Ministeriums angesiedeltes Organ, das sich der parlamentarischen Kontrolle entzogen hatte und dessen Abschaffung Hölder bereits 1873 gefordert hatte. Trotz der Erfolge sahen sich die von Hölder geführten Abgeordneten der Deutschen Partei scharfer innerparteilicher Kritik ausgesetzt. So warfen u.a. Wilhelm Lang (1839-1915) und Otto Elben (1823-1899) Hölder vor, sich ganz in den Dienst von Ministerpräsident Mittnacht zu stellen, ja in Abhängigkeit von diesem zu geraten. Mittnacht stütze sich immer dann auf die Deutsche Partei im Landtag, wenn er partikulare Rechte Württembergs in der Auseinandersetzung mit dem Reich verteidigen wolle, bei der Behandlung zentraler Gesetzesvorhaben lasse Mittnacht die Deutsche Partei dagegen außen vor. So ziele die gesamte Politik Mittnachts lediglich darauf, taktische Zugeständnisse an die Deutsche Partei zu machen, um gleichzeitig deren weiterführenden Reformanliegen die Spitze zu brechen.

Tatsächlich entstand immer mehr ein Abhängigkeitsverhältnis Hölders und der von ihm geführten Fraktion vom Ministerpräsidenten. Gerade weil sich die Fraktion der Deutschen Partei vorwiegend aus Beamten zusammensetzte, konnte die Regierung Druck auf sie ausüben. Auch bei Wahlen war die Deutsche Partei von der Unterstützung durch die Regierung abhängig, zumal es ihr eben nicht gelungen war, außerhalb der Kammer eine schlagkräftige Organisation aufzubauen. Schließlich war auch die Grenze zwischen der sogenannten Regierungspartei und der Deutschen Partei im Landtag überaus unscharf, vergeblich bemühte sich Hölder sogar 1880/81 um eine Fusion beider Parteien.

Angesichts einer solchen Ausgangslage war bei der Berufung Hölders an die Spitze des Stuttgarter Innenministeriums 1881 nicht davon auszugehen, dass er sich innerhalb der Regierung zum Gegenpol Mittnachts entwickeln, diesen gar auf die Anliegen der Deutschen Partei verpflichten werde. Zudem hatte Hölder wiederholt betont, alle wesentlichen politischen Zielsetzungen Mittnachts zu teilen, auch fehlte ihm aufgrund seines inzwischen fortgeschritteneren Alters die Spannkraft für die Durchsetzung umfangreicher gesellschaftlicher Reformen. Folglich entstanden in seiner Amtszeit lediglich kleinere Ausführungsgesetze beispielsweise zur Gemeindezugehörigkeit, zur Feldbereinigung sowie eine Feuerlöschordnung. Eine von Hölder geplante und zugleich groß angelegte Verwaltungs- und Verfassungsreform kam über das Entwurfsstadium nicht hinaus und sollte in veränderter Form erst knapp zwei Jahrzehnte später verwirklicht werden.

Hölder verstarb nach einem längeren Leiden in seiner Geburtsstadt Stuttgart am 30. August 1887, er ist auf dem Pragfriedhof beigesetzt. Die Denkmalbüste auf seinem Grab trägt die Inschrift „Dem schwäbischen Volksmann. Dem Vorkämpfer für Deutschlands Einheit“.