Erste nationale Medaillen

Seinen ersten Erfolg feierte Haug bei den Norwegischen Meisterschaften 1915 in Geithus, bei denen er im Einzel der Nordischen Kombination hinter Gunnar Ødegaard und Embret Mellesmo die Bronzemedaille gewann. Zwei Jahre später bei den Norwegischen Meisterschaften 1917 in Dokka wiederholte er diesen Erfolg. Im folgenden Jahr konnte er sich bei den Norwegischen Meisterschaften in Rjukan die Silbermedaille hinter Otto Aasen sichern.

Internationaler Durchbruch

1918 begann Haug mit dem Sieg im 50-km-Skilanglauf seine Erfolgsserie am Holmenkollen. Diesen Erfolg wiederholte er 1919. Zudem gewann er erstmals auch den Wettbewerb in der Kombination. Kurz darauf gewann Haug bei den Norwegischen Meisterschaften 1919 in Bærum erneut Bronze in dieser Disziplin.

Im gleichen Jahr wurde er daraufhin für seine ersten Erfolge gemeinsam mit Otto Aasen mit der Holmenkollen-Medaille ausgezeichnet.

Bei den Norwegischen Meisterschaften 1920 in Elverum konnte er sich erstmals nicht in der Kombination durchsetzen, gewann aber stattdessen die Goldmedaille im Skilanglauf über 30 km. Am Holmenkollen war er zudem erneut in der Kombination sowie über 50 km im Skilanglauf erfolgreich.

Nur ein Jahr später verteidigte er bei den Norwegischen Meisterschaften 1921 in Trondheim seinen Titel im Skilanglauf. In der Kombination reichte es erneut nicht für einen Sieg. Am Holmenkollen lag er wie im Jahr zuvor erneut in beiden Disziplinen ganz vorn. Bei den Norwegischen Meisterschaft 1922 in Gjøvik gewann er erstmals einen norwegischen Titel in der Kombination. Es blieb sein einziger Titel in dieser Disziplin.

1923 siegte er erneut im 50-km-Skilanglauf am Holmenkollen, konnte aber in der Kombination nicht gewinnen.

Olympische Winterspiele

Das Jahr 1924 sollte das erfolgreichste seiner Karriere werden. Bei den Olympischen Winterspielen 1924 in Chamonix-Mont-Blanc startete Haug in allen drei nordischen Disziplinen. Im Skilanglauf gelang es ihm, das Rennen über 18 km und auch das Rennen über 50 km überlegen zu gewinnen. Neben diesen zwei Goldmedaillen im Skilanglauf war er auch in der Kombination erfolgreich. Nachdem er bereits nach dem Springen in Führung gelegen war, konnte er diese auch im folgenden Skilanglauf unangefochten verteidigen. Damit war Haug der erste Athlet, der bei nur einer Teilnahme an Olympischen Winterspielen drei Goldmedaillen gewinnen konnte. Da im Skilanglauf die Olympischen Spiele zugleich als Nordische Skiweltmeisterschaft galten, wurde er mit dem Erfolg auch erster Doppelweltmeister. Im Skispringen lag er nach dem Springen auf dem dritten Rang und erhielt damit nach Ende des Wettbewerbs die olympische und auch die WM-Bronzemedaille überreicht. Dabei lag die kombinierte Note des Springens bei 18,000 Punkten, was zum dritten Rang vor dem US-Amerikaner Anders Haugen reichte, welcher eine Gesamtpunktzahl von 17,917 erreichte.

Fünfzig Jahre nach den Spielen trafen sich 1974 die sechs noch lebenden norwegischen Olympiateilnehmer, wobei Thoralf Strømstad, Silbermedaillengewinner in der Kombination, den norwegischen Schriftsteller und Skihistoriker Jakob Vaage auf die fehlerhafte Berechnung der Punkte bei Haug hinwies, die korrekterweise nicht 18,000, sondern 17,813 betrugen, welches ihn nur auf Platz vier platziert hätte. Das IOC stimmte der Änderung der Siegerliste zu. Die Tochter des 1934 verstorbenen Haug, Anne-Marie Magnusson, stimmte der Rückgabe der Bronzemedaille zu, woraufhin sie am 12. September 1974 im Holmenkollen-Haus stellvertretend an die Tochter von Anders Haugen, der 86-jährig in Yucaipa, Kalifornien, lebte, verliehen wurde. Damit war Haugen, der 1984 verstarb, der erste US-Amerikaner, der im olympischen Skisprungwettbewerb eine Medaille gewinnen konnte.

Nach Olympia und Karriereende

Im Jahr seines großen Erfolges in Chamonix konnte er auch am Holmenkollen noch einmal im 50-km-Skilanglauf gewinnen. Bei den Norwegischen Meisterschaften 1926 in Drammen landete er im Einzel der Kombination auf dem dritten Platz, bevor er bei den Nordischen Skiweltmeisterschaften 1926 in Lahti noch einmal die Silbermedaille in der Kombination gewann. Es war sein letzter internationaler Erfolg.

Nur acht Jahre nach Haugs letztem Erfolg starb er im Dezember 1934 im Alter von nur 40 Jahren an einer Lungenentzündung.