Als Sohn eines Arztes dort geboren, wohnte Rubin zeit seines Lebens in Essen. Nach dem Abitur absolvierte er eine kaufmännische Lehre in der Stahlbranche, in der er schließlich bis zum Vorstandsmitglied einer Aktiengesellschaft aufstieg.

1945 gehörte er mit Franz Blücher zu den Begründern der Essener FDP, engagierte sich aber auch in der Landes- und Bundespolitik, ohne allerdings je ein öffentliches Amt zu übernehmen. Dennoch verfügte Rubin durch seine fast ein Vierteljahrhundert lange, von 1952 bis 1974 währende Schatzmeistertätigkeit über viel Einfluss in der Bundes-FDP.

Da er bereits früh wirtschaftliche Kontakte nach Osteuropa suchte, gehörte Rubin in den 1960er Jahren zu den Vorreitern einer neuen Ostpolitik. Großes Aufsehen erregte Rubin, als er 1967 in einem Aufsatz unter dem Titel "Die Stunde der Wahrheit" seine innen- und außenpolitischen Reformvorschläge öffentlichkeitswirksam zusammenfasste und damit den Boden für die Bildung der sozial-liberalen Koalition vorbereitete.

Von 1970 bis 1982 leitete er die Friedrich-Naumann-Stiftung, deren Tätigkeitsbereiche im In- und Ausland in dieser Zeit sehr ausgeweitet wurden.

- Die Stunde der Wahrheit (1967)