Frühe Militärkarriere

1920 wurde er Mitglied des Komsomol und trat wenig später in die Rote Armee ein. Er diente in der 1. Reiterarmee und wurde im Dezember 1920 zum Kommandeurslehrgang nach Lugansk delegiert. Nach einem Fronteinsatz der Lehrgangsteilnehmer schickte man ihn im Februar 1921 zur 5. Artillerieschule in Charkow. 1922 bestand er die Prüfungen mit Auszeichnung und wurde als Zugführer in die berittene Artillerieabteilung der 6. Tschongarsker Kavalleriedivision der 1. Roten Reiterarmee versetzt. Sein letzter Fronteinsatz im Bürgerkrieg beinhaltete die Kämpfe gegen Einheiten des Fürsten Dschentemirow im Nordkaukasus.

1923 wurde Moskalenko Kandidat und 1926 Mitglied der KPdSU. 1924 wurde er Batteriechef und 1927 begann er eine Fortbildungslehrgang für Kommandeure in Detskoje Selo. 1930 wurde er Kommandeur der Ausbildungsbatterie, danach einer Abteilung und Stabschef eines Regimentes. 1932 erhielt er, als Stabschef eines Regimentes, eine Versetzung zur 1. Besonderen Kavalleriedivision der 1. (Fernöstlichen) Rotbannerarmee. 1934 wurde Moskalenko Regimentskommandeur. 1935 stieg er zum Rang eines Brigadekommandeurs auf, 1935 zum Regimentskommandeur in der 23. Panzerbrigade, im Herbst 1936 des 45. mechanisierten Korps des Kiewer Militärbezirkes. 1938 absolvierte er an der Militärakademie „Dzierzynski“ in Leningrad die Ausbildung an der Fakultät für höhere Kommandeure.

Danach diente er als Chef der Artillerie der 51. Perekoper Division im Odessaer Militärbezirk und im Sowjetisch-Finnischen Krieg, des XXV. Schützenkorps in Kischinjow und beim II. Mechanisierten Korps in Tiraspol. Am 4. Juni 1940 ernannte man ihn zum Generalmajor.

Im Deutsch-Sowjetischen Krieg

Den Großen Vaterländischen Krieg begann er im Juni 1941 als Kommandeur der 1. Panzerabwehrbrigade, welche im Raum Luzk eingesetzt war. Im September 1941 übernahm Moskalenko das Kommando über das 15. Schützenkorps der 5. Armee und kämpfte sich während der Schlacht um Kiew über Tschernigow, Nischin nach Pirjatin zurück. Im Herbst 1941 übernahm er eine mechanische Kavalleriegruppe im Bereich der 13. Armee im Raum Liwny. In den Tagen der sowjetischen Gegenangriffe vor Moskau nahmen seine Verbände im Dezember 1941 an der Rückeroberung von Jelez teil. Noch im gleichen Monat wurde er bei der Südwestfront Stellvertreter und zeitweise Befehlshaber der im Raum Kupjansk stehenden 6. Armee, mit welcher er in der Schlacht bei Charkow die Befreiung der Städte Isjum und Losowaja erreichte. Ende Januar 1942 übernahm er das Kommando über das 6. Kavallerie-Korps, von März bis Juli 1942 war er Kommandeur der im Raum südlich Woltschansk stehenden 38. Armee. Nach deren Umbenennung im Juli 1942 kommandierte er die erste Formation der 1. Panzerarmee, welche im August 1942 an der Kesselschlacht bei Kalatsch teilnahm. Im August 1942 übernahm er den Befehl über die 1. Gardearmee, die bis Oktober 1942 an der Schlacht von Stalingrad beteiligt war.

Im Oktober 1942 bekam er den Befehl über die 40. Armee, welche im Frühjahr 1943 maßgeblich am Gelingen der Ostrogoschsk-Rossoscher und Woronesch-Kastornoje-Operation hatte. Danach war er an der ersten Befreiung von Charkow (Februar 1943) und an der Schlacht von Kursk (Juli 1943) beteiligt. Per Dekret des Obersten Sowjet der UdSSR wurde er 23. Oktober 1943 für die Errichtung des Ljutescher Brückenkopfes am westlichen Ufer des Dnjepr mit dem Titel Held der Sowjetunion geehrt. Vom Oktober 1943 bis zum Ende des Krieges war er wieder Kommandeur der 38. Armee. Im Verband der 1. und 2. Ukrainischen Front waren die Truppen Moskalenkos an der Befreiung Kiews (6. November 1943), an der Offensive zwischen Schitomir und Berdischew, an der Proskurov und der Lwiw-Sandomierz-Operation maßgeblich beteiligt.

Am 19. Januar 1943 wurde er zum Generalleutnant und am 19. September 1943 zum Generaloberst befördert. Im Verband der 4. Ukrainischen Front kämpfte seine Armee 1944 in den westlichen Karpaten (Durchbruch am Duklapass) und beendete 1945 den Krieg während der Prager Operation im Raum Ostrava in Mähren.

Nachkriegszeit

Nach dem Krieg war er Oberbefehlshaber des Moskauer Luftverteidigungsbezirks und ab 3. August 1953 im Dienstgrad eines Armeegenerals Oberbefehlshaber des Moskauer Militärbezirkes. Am 11. März 1955 wurde er zum Marschall der Sowjetunion ernannt. 1960 wurde er Oberkommandierender der Raketentruppen und 1962 Stellvertreter des Verteidigungsministers.