Gauliga, bis 1945

Bereits mit 18 Jahren wurde der Offensivspieler in die Gauauswahl von Berlin-Brandenburg berufen. Erstmals wirkte er am 26. Mai 1940 beim 3:0 in Sofia gegen die dortige Stadtauswahl mit und erzielte ein Tor. Im Rahmen des Reichsbundpokals debütierte er am 6. Oktober 1940 beim 4:3-Erfolg gegen den Mittelrhein. An der Seite von Torhüter Rudolf Schönbeck, Verteidiger Hans Appel und Mittelstürmer Hans Berndt wurde die Nachwuchshoffnung von Blau-Weiß 90 Berlin als rechter Verbinder im Angriff eingesetzt. Für Blau-Weiß spielte er bereits seit 1931 in der Jugend und debütierte 1939 als 17-Jähriger in der Ligamannschaft. In der Gauligarunde 1940/41 belegte er mit Blau-Weiß 90 hinter Meister Tennis Borussia und Hertha BSC den dritten Rang. Als 20-Jähriger feierte er 1941/42 den Gewinn der Meisterschaft und den Einzug in die Endrunde um die deutsche Fußballmeisterschaft. Dort hinderte erst im Halbfinale das Team um Karl Decker, First Vienna FC 1894, die Blau-Weißen am Erreichen des Endspieles. Die Mannschaft aus Mariendorf beendete die Endrunde aber mit einem 4:0-Erfolg am 4. Juli 1942 gegen Kickers Offenbach und konnte damit den 3. Platz in der deutschen Meisterschaft 1942 erringen. Graf absolvierte alle fünf Endrundenspiele und erzielte in der 48. Minute den 1:2-Anschlusstreffer im Halbfinale gegen Vienna. Mit der Gau-Auswahl scheiterte er im Reichsbundpokal 1942 im Halbfinale nach zwei Spielen gegen die Nordmark. Im Vereinspokal erzielte Gerhard Graf 1942 in den Spielen gegen Lufthansa SG Berlin, SV Fortuna 02 Leipzig, NSTG Falkenau und TuS 1883 Lipine acht Tore und rangierte damit an zweiter Stelle der Torschützenliste dieses Wettbewerbes. Nationalstürmer Ernst Willimowski konnte mit 1860 München den Pokal gewinnen und führte mit 14 Treffern vor Graf und Ludwig Janda – ebenfalls acht Tore – die Torjägerliste an.

Nach dem Zweiten Weltkrieg, bis 1955

Als Aktiver der kommunalen Sportgruppe Tempelhof belegte Graf in der ersten Stadtmeisterschaft nach dem Krieg in Berlin, 1945/46, in der Staffel A hinter der SG Wilmersdorf den zweiten Rang. Im Berliner-Pokal schoss er seine Mannschaft mit drei Treffern im Halbfinale am 20. Januar 1946 gegen Spandau-Altstadt in das Finale. Im Endspiel setzte sich Wilmersdorf mit 2:1 Toren nach Verlängerung am 17. März 1946 gegen Tempelhof durch. Durch die extrem schwierige Ernährungslage, Arbeitsbedingungen und Wohnungssituation in Berlin, siedelte er am 9. April 1946 nach Hannover über und spielte bei den „Blauen“ vom Bischofsholer Damm, bei SV Arminia Hannover in der Oberliga Niedersachsen-Süd. Er trug 1946/47 wesentlich zum erreichen des zweiten Ranges der Arminen hinter dem TSV Braunschweig bei, und damit der Qualifikation für die Fußball-Oberliga Nord ab der Saison 1947/48.

Im April 1947 kehrte Graf wieder in seine Heimatstadt zurück und schloss sich vorübergehend der SG Neukölln an, spielte auch in der Neuköllner Bezirksauswahl. Fortan gehörte er aber der SG Charlottenburg an. An der Spitze wurde die Meisterschaft 1947/48 durch den „Vierkampf“ zwischen Oberschöneweide, Wilmersdorf, Charlottenburg und Prenzlauer Berg West geprägt. Charlottenburg rangierte am Rundenende auf dem dritten Rang und der Berlin-Rückkehrer hatte sich mit 20 Toren die Torschützenkrone in der Berliner Stadtliga erobert. Im Pokal setzte sich der Meister Oberschöneweide im Wiederholungsspiel am 25. April 1948 mit 3:1 Toren durch. Als Vizemeister gewann Tennis Borussia 1949 aber mit einem 2:0-Erfolg gegen Alemannia 1890 Berlin den RIAS-Pokal. Beide Final-Tore erzielte Graf.

Von 1950 bis 1952 feierte Graf mit den „Veilchen“ drei Meisterschaftsgewinne in Folge, dabei 1950 und 1951 durch die Pokalerfolge gegen Wacker 04 und SC Union 06 auch das zweimalige Double. 1954 zog Graf mit seinen Kameraden nochmals in das Pokalfinale ein – es wurde mit 0:1 Toren gegen den Spandauer SV verloren – und 1955 langte es mit vier Punkten Rückstand hinter Viktoria 1889 Berlin zur Vizemeisterschaft. Der 33-jährige Routinier hatte in 21 Ligaspielen elf Tore für Tennis Borussia erzielt und beendete am Saisonende zusammen mit Fritz Wilde seine aktive Spielerlaufbahn. Bei seinem Abschiedsspiel am 19. Juni 1955 im Mommsenstadion gegen Eintracht Braunschweig – es endete 6:3 für TB – erzielte er fünf Tore. Der schussstarke Mittelstürmer war technisch versiert und hatte ein hervorragendes Kopfballspiel. Mannschaftskamerad Karl-Heinz Steinbeck beschreibt Graf mit folgenden Worten:

Auch in der Stadtauswahl wirkte der gelernte Werkzeugmacher von 1947 bis 1955 wieder regelmäßig mit. Einer eigenen Aufstellung zufolge hat er in 61 Einsätzen (seit 1940) insgesamt 39 Tore erzielt, wobei er das Spiel West- gegen Ostberlin (3:3) am 2. Weihnachtstag 1954 im Poststadion „ohne Wertung“ lässt, also nicht mitzählt.