Geboren bei Bremen entstammte Johannes Dieckmann einer Pfarrersfamilie, was seine Einstellung zum Christentum zeit seines Lebens prägte. Das Studium der Wirtschaftswissenschaften und der Neuphilologie führte er trotz mehrfacher Unterbrechung durch Kriegseinsatz erfolgreich zu Ende.

Durch persönlichen Kontakt mit Gustav Stresemann trat er Ende 1918 in die neu gegründete DVP (Deutsche Volkspartei) ein. Er übte verschiedene Ämter im Parteiapparat aus, zuletzt als Generalsekretär der sächsischen DVP, die er von 1929 bis 1933 auch im sächsischen Landtag vertrat. Er stand in dieser Zeit dem linken, republikfreundlichen Flügel der Partei nahe.

Während des Nationalsozialismus arbeitete er als Geschäftsführer verschiedener sächsischer Wirtschaftsverbände. Nach dem Zweiten Weltkrieg gehörte er zu den Mitbegründern der LDP(D) in Dresden und rückte rasch in Parteifunktionen auf Landes- und Zonenebene auf. Seit den Landtagswahlen von 1946 gehörte er wiederum dem Landtag an. Im April 1948 wurde Dieckmann, den die SED zu den "fortschrittlichen Kräften" in der LDP(D) zählte, als Nichtjurist zum sächsischen Justizminister und stellvertretenden Ministerpräsident ernannt. Der Eisenacher Parteitag wählte ihn 1949 zum stellvertretenden LDP(D)-Vorsitzenden - eine Funktion, die Dieckmann bis zu seinem Tod innehatte. Als einer der liberaldemokratischen Spitzenpolitiker wurde er nach Konstituierung der DDR-Volkskammer zu deren Präsident, was er ebenfalls bis zu seinem Tod blieb.

Weitere herausgehobene, wenn auch einflusslose Funktionen waren die Präsidentschaft der Gesellschaft für deutsch-sowjetische Freundschaft und die Mitgliedschaft im Staatsrat der DDR seit 1960. Aufsehen erregten Dieckmanns verschiedene Vorstöße zu gesamtdeutschen Gesprächen, u. a. mit dem Bundestagspräsidium, denen aber ebenso wie auch der spektakulären Reise nach Marburg im Januar 1961 kein Erfolg vergönnt war.

Obwohl er seit 1946/47 zu einer Anpassung an den Kurs der SED bereit war und er dieser häufig als bürgerliches Aushängeschild diente, galt Dieckmann für viele Liberaldemokraten als ein Garant für eine gewisse innerparteiliche Liberalität und die Verkörperung älterer liberaler Tradition. Wegen seines großen innerparteilichen Ansehens sorgten insbesondere die Sowjets immer wieder dafür, dass Dieckmann nicht von Gegnern in der eigenen Partei verdrängt wurde.