1865–1918

Aufgrund des stark zunehmenden Passagieraufkommens war der Bahnhof bald zu klein und musste einem Neubau weichen. 1859–1865 wurde, wieder unweit des Pratersterns, ein neues, vergleichsweise luxuriöses Bahnhofsgebäude errichtet; dahinter lag der Frachtenbahnhof, der sich zur Zeit seiner größten Ausdehnung fast bis ans Ufer der 1868–1875 regulierten Donau erstreckte. 1859 erfolgte auch die Betriebsaufnahme der Verbindungsbahn vom Nord- zum Südbahnhof.

Mit der Planung waren mehrere Architekten beauftragt; der Entwurf im maurischen Stil stammt im Wesentlichen von Theodor Hoffmann. Die Ausschmückung der Räume wurde von Bildhauern und Freskenmalern durchgeführt. Die Eröffnung erfolgte am 15. Oktober 1865. Das Empfangsgebäude war, wie bei anderen großen Bahnhöfen dieser Zeit, ein ausgesprochenes Repräsentationsgebäude und war z. B. mit einem Hofwartesalon für den kaiserlichen Hof ausgestattet. Für die Züge stand eine geräumige Halle in Hochlage zur Verfügung. Im Vestibül stand eine Statue des Gründers und Hauptfinanziers der Nordbahn, Salomon Rothschild, die 1869/1870 von Johann Meixner angefertigt worden war. Sie wurde 1938 von den Nationalsozialisten abmontiert und ist heute als Leihgabe des Technischen Museums Wien im Jüdischen Museum Wien zu sehen.

Gegenüber dem Haupteingang des zweiten Nordbahnhofs wurde an der Nordbahnstraße 50 zur Wiener Weltausstellung 1873 das große Hotel Donau errichtet. Das Gebäude wurde später als Direktion der k.k. Kaiser Ferdinands-Nordbahn, dann der Bundesbahndirektion Wien genutzt und wird, unter Denkmalschutz gestellt, bis heute von ÖBB-Dienststellen verwendet. Ebenfalls 1873 wurde hinter dem Hotel das luxuriöse Römische Bad eröffnet.

1895 wurde die Gasbeleuchtung durch elektrisches Licht ersetzt. Um 1900 umfasste das Bahnhofsgelände insgesamt 36 Hektar. 1906 wurde die bis dahin private Nordbahn in die k.k. Staatsbahnen eingegliedert, d. h. verstaatlicht.

In der Zeit der k.u.k. Monarchie bis 1918 war der Nordbahnhof einer der bedeutendsten Bahnhöfe in Europa und mit den Verbindungen nach Brünn, Kattowitz, Krakau und Lemberg der wichtigste Bahnhof Wiens. Für viele Zuwanderer aus den Kronländern Galizien, Bukowina, Böhmen und Mähren war er das Tor nach Wien. Die erste elektrische Straßenbahnlinie Wiens, die spätere (und heutige) Linie 5, verband den Bahnhof seit 1897 mit dem Nordwestbahnhof, dem Franz-Josefs-Bahnhof und dem Westbahnhof.

Die 1899 zur Endstation der Wiener Stadtbahn aufgewertete Haltestelle Wien Praterstern war zwar betrieblich vom Nordbahnhof getrennt, sorgte aber dennoch für eine bessere Integration desselbigen in den Nah- und Regionalverkehr.

Der Nordbahnhof spielte im Ersten Weltkrieg eine wichtige Rolle: Hier wurden viele Truppentransporte an die russische Front abgefertigt und Verwundetentransporte aus dem Frontgebiet übernommen. Hier kamen 1914 / 1915 vor dem Eindringen der russischen Armee in Galizien geflohene Menschen an, 1917 / 1918 die aus russischer Kriegsgefangenschaft entlassenen österreichischen Soldaten.

1918–1945

Mitte der 1920er Jahre verfügte der Nordbahnhof über zwei Heizhäuser, sechs Kohlenhöfe, Ladegleise mit bis zu über einem Kilometer Länge und ein Petroleummagazin. Zur Donauuferbahn gab es bis nach 2010 eine nahe der Innstraße im halbkreisförmigen Bogen geführte Direktverbindung.

Im März 1938 flüchteten viele, die Verfolgung befürchteten, vor den die Macht übernehmenden Nationalsozialisten mit der Nordbahn über Lundenburg (Břeclav) in die Tschechoslowakei. Ab 1943 wurden jüdische Wiener vom Nordbahnhof aus in Vernichtungslager deportiert; zuvor waren die Deportationszüge vom Aspangbahnhof abgefahren.

1945–1965

In der Schlacht um Wien in der Endphase des Zweiten Weltkriegs wurde der Bahnhof am 12. März 1945 durch Bombentreffer und Anfang April 1945 durch Artillerie schwer beschädigt. Die Nordbahnbrücke über die Donau war infolge der Kampfhandlungen bis 1957 unbenutzbar; die Nordbahnzüge wurden bis 1959 vom Nordwestbahnhof aus über die Nordwestbahnbrücke geführt.

Mit Beginn des nach 1945 folgenden Kalten Kriegs wurden die Grenzen der nördlichen und östlichen Nachbarstaaten geschlossen, die Nordbahnstrecke verlor ihre überregionale Bedeutung. (Dennoch war noch auf Stadtplänen der Nachkriegszeit zu lesen, die Nordbahn verkehre nach Brünn, Krakau, Lemberg und Czernowitz.)

Der Bahnhofsbau wurde dem Verfall preisgegeben und am 21. Mai 1965 gesprengt. Der Wiener Historiker Georg Rigele erklärte dazu Jahrzehnte später, der Abriss habe keine Proteste, keine öffentlichen Kontroversen ausgelöst. Es handelte sich um den stillen, unreflektierten (zumindest nicht debattierten) Abbruch einer historischen Beziehung, um den Verlust eines … symbolhaften Ortes für den tschechischen, polnischen und jüdischen Anteil an der Wiener Geschichte.

In den Jahren vor dem Abriss waren vor der Kulisse des Bahnhofsgebäudes an der Nordbahnstraße noch Filmszenen entstanden, in denen das Attentat von Sarajevo von 1914 und der ungarische Aufstand von 1956 gegen das stalinistische Regime nachgespielt wurden. Im 1955 gedrehten Film Sarajevo – Um Thron und Liebe stellte die historische Eingangshalle des Bahnhofs das Rathaus von Sarajevo dar.