Nach Abitur und Studium der Rechts- und Staatswissenschaften war der gebürtige Stuttgarter und Enkel der bekannten Schriftstellerin Ottilie Wildermuth im Anschluss an den Kriegsdienst im Ersten Weltkrieg als Assessor im Staatsdienst tätig, zuletzt als Oberregierungsrat im Reichsarbeitsministerium.

Bereits 1919 der Deutschen Demokratischen Partei (DDP) beigetreten, war er seit 1928 Direktor der Deutschen Bau- und Bodenbank AG in Berlin. Zwei Jahre später wurde er zunächst Vorstandsmitglied, dann Präsident der Deutschen Gesellschaft für Öffentliche Arbeiten. Nach der Rückkehr aus britischer Kriegsgefangenschaft und Wiederaufnahme seiner Funktion als Vorstandsmitglied der Bau- und Bodenbank AG sowie der Deutschen Wohnstätten-Hypothekenbank wurde er als Vertreter und Mitglied des Landesvorstands der Demokratischen Volkspartei (DVP) 1946 Staatssekretär für Wirtschaft und ein Jahr später Minister in diesem Ressort für das Land Württemberg-Hohenzollern.

Bei der Bildung des ersten Bundeskabinetts 1949 wurde Wildermuth Minister für Wohnungsbau. Während seiner Amtszeit begann die eigentliche Entwicklung des nach Kriegsende notwendigen Wohnungsbaus, der durch das 1950 verabschiedete Erste Wohnungsbaugesetz zusätzlich gefördert wurde. Im selben Jahr berief man ihn in den geschäftsführenden Bundesvorstand der Partei. Wildermuth erlag mit nur 62 Jahren in Tübingen einem Herzschlag.