Der in Berlin in einer Familie mit liberaler Tradition geborene Rexrodt begann nach dem Abitur das Studium der Betriebswirtschaftslehre und schloss dies als Diplom-Kaufmann ab. Von 1968 an war er unter anderem als Geschäftsführungsmitglied bei der West-Berliner Industrie- und Handelskammer tätig, ehe er 1979 in die Senatsverwaltung wechselte und 1982 zum Staatssekretär beim Wirtschaftssenator aufstieg.

Im gleichen Jahr wurde der 1980 in die Partei eingetretene Rexrodt stellvertretender FDP-Landesvorsitzender von Berlin und blieb dies zunächst bis 1987. Nach den Wahlen zum Abgeordnetenhaus 1985 wurde er Finanzsenator in der christlich-liberalen Landesregierung. Nach der Wahlniederlage von 1989 wechselte Rexrodt zu einer Bank nach Frankfurt/M., deren Vorstandsvorsitzender er 1990 wurde. Im gleichen Jahr wurde er in den ersten gesamtdeutschen Bundestag gewählt und 1991 in den Vorstand der Berliner Treuhandanstalt berufen.

Anfang 1993 setzte er sich im Rennen um die Nachfolge Jürgen Möllemanns durch und wurde Bundeswirtschaftsminister. Seither kämpfte er in diesem Amt für die Privatisierung von öffentlichen Unternehmen sowie der Aufgaben von Ländern und Kommunen, setzte die Liberalisierung des Ladenschlussgesetzes sowie die Reform des Energiewirtschaftsgesetzes durch und widmete sich dem Problem, verkrustete Strukturen im Interesse des Standortes Deutschland aufzubrechen.

In den Jahren 1994/95 war Rexrodt Landesvorsitzender der Berliner FDP, ein Amt, das er im Jahr 2000 noch einmal antreten sollte. 2001 wurde Rexrodt Bundesschatzmeister der FDP. In dieser Funktion oblag ihm die Aufgabe, die finanziellen Verbindungen von Jürgen Möllemann im Rahmen der so genannten "Flugblatt-Affäre" aufzuklären. Bei der Wahl zum Abgeordnetenhaus von Berlin 2001 war er Spitzenkandidat.

Unter seiner Führung kehrte die FDP nach sechs Jahren Abwesenheit mit einem Ergebnis von 9.9 Prozent der Stimmen in das Abgeordnetenhaus zurück. Nach schwerer, kurzer Krankheit starb Rexrodt im August 2004 in Berlin.