Ortleb wurde im thüringischen Gera geboren, wuchs aber bei Dresden auf. Dort studierte er nach dem Abitur Mathematik und trat 1968 der LDPD bei. 1971 promovierte, 1983 habilitierte er in Rostock, wo er seitdem zunächst Informationsverarbeitung, später Schiffsbautechnik lehrte.

Als Kreisvorsitzender unterstützte er seit 1987 den Öffnungskurs des LDPD-Vorsitzenden Manfred Gerlach . So wurde in Rostock erstmals wieder seit 1952 eine eigene liberaldemokratische Jugendorganisation als Konkurrenz zur kommunistischen FDJ aus der Taufe gehoben. Völlig überraschend wählte ihn die im Umbruch befindliche LDPD Anfang 1990 als Gerlachs Nachfolger zu ihrem Vorsitzenden und später zum liberalen Fraktionsvorsitzenden in der ersten demokratisch gewählten DDR-Volkskammer. Ortleb überführte im August 1990 die LDPD in die FDP, nachdem er bereits im März zuvor den Coup eines kollektiven Beitritts der Nationaldemokratischen Partei zur LDPD gelandet hatte.

Nach der Wiedervereinigung wurde Ortleb Bundestagsabgeordneter und Bundesminister, zunächst ohne Geschäftsbereich, dann für das Ressort Bildung und Wissenschaft. Aus Gesundheitsgründen erklärte er 1994 seinen Rücktritt. Seit März 1996 Landesvorsitzender der sächsischen Liberalen trat er u.a. aufgrund des schlechten Abschneidens seiner Partei bei den Landtagswahlen im September 1999 von allen politischen Ämtern zurück.