Der gebürtige Schlesier war nach dem Abitur, dem sich anschließenden Studium der Rechts- und Staatswissenschaften und dem Kriegsdienst seit 1945 vor allem in der Wirtschaftsverwaltung der britischen Zone und in der Verwaltung für Wirtschaft in Minden tätig, sowie u.a. bis 1961 als Hauptgeschäftsführer der Industrie- und Handelskammer Oberfranken in Bayreuth.

Seit 1948 war Starke Grundsatzreferent unter Wirtschaftsminister Ludwig Erhard und wurde nach seinem Eintritt in die FDP 1953 mit einem Direktmandat in den Bundestag gewählt. Nachdem er sich in Fragen der Mittelstands- und Eigentumspolitik sowie zur Europäischen Integration einen Namen gemacht hatte, wurde er 1961 zum Bundesfinanzminister berufen. In diesem Amt votierte er in erster Linie gegen die Ausgabenflut der öffentlichen Hand und gegen Steuererhöhungen. Doch schon in der Regierungskrise Ende 1962 im Zuge der "Spiegel-Affäre" musste er den Ministerposten wieder aufgeben.

Zudem war Starke seit 1958 Mitglied des Europäischen Parlamentes, seit 1964 Mitglied des bayrischen Landesvorstandes und seit 1965 Vize-Vorsitzender der liberalen Bundestagsfraktion. Nachdem er aufgrund seiner wirtschaftspolitischen Einstellung den sozial-liberalen Schwenk der FDP-Parteiführung nicht mit vollzog, verließ er 1970 die Partei und trat zur CSU über, für die er sein Bundestagsmandat bis 1980 weiterhin wahrnahm und die er bis 1979 ebenfalls im Europäischen Parlament vertrat.