Frühe Jahre

McHugh war zwischen 1971 und 1977 als Assistent des Oberstadtdirektors von Watertown tätig. Anschließend war er zwischen 1977 und 1984 als Berater von Senator Hugh Douglas Barclay tätig und danach sein Nachfolger. Er verblieb bis zu seiner Wahl in den Kongress im Staatsparlament.

Kongressabgeordneter

McHugh kandidierte 1992 erfolgreich um einen Sitz im US-Repräsentantenhaus und verdrängte dort den US-Abgeordneten David O’Brien Martin im 24. Wahlbezirk, der nach dem Zensus von 2000 zum 23. Wahlbezirk umbenannt wurde. Historisch gesehen war dieser Teil von New York auf Kongressebene republikanisch, jedoch wurde zuletzt in den Präsidentschaftswahlen stark umkämpft. Der Wahlbezirk und seine Vorgänger waren seit 1871 ununterbrochen in republikanischer Hand und einige Teile des Wahlbezirks waren nie von einem Demokraten vertreten worden. McHugh wurde achtmal wiedergewählt und 2002 sogar ohne Gegenkandidaten.

McHugh war der ranghöchste Republikaner im House Armed Services Committee und auch ein ranghohes Mitglied im Oversight and Government Reform Committee. Er hatte sechs Jahre lang den Vorsitz über das Oversight Committee's Post Office Subcommittee und war 2006 an der Verabschiedung von Gesetzen beteiligt, die den United States Postal Service (USPS) reformieren sollten. Dies war die erste Reform, seitdem das alte US-Postministerium seinen Kabinettsstatus mit dem Postal Accountability and Enhancement Act (P.L. 109-435) verloren hatte. Danach war er zwischen 2005 und 2007 Mitglied im House Permanent Select Committee on Intelligence.

McHugh besiegte 2004 und 2006 seinen demokratischen Gegner, Dr. Robert J. Johnson. Während des Wahlkampfs war Dr. Johnson außerstande zu fliegen, da sein Name auf der No Fly List erschien. Zu jener Zeit spekulierte Johnson, dass er wegen seiner Antikriegsansichten und seiner Opposition gegenüber McHugh auf der Liste aufgenommen wurde. McHugh bestritt irgendeine Beteiligung. Eine spätere CBS-News-Recherche deckte auf, dass sein Name als Deckname für einen Mann fungierte, der später wegen Sprengstoffattentaten in Toronto verurteilt wurde, und deshalb auf die Liste aufgenommen wurde. Einige andere Männer mit dem Namen Robert Johnson waren ebenfalls davon betroffen.

McHugh war der einzige von acht republikanischen Amtsinhabern in New York, der 2006 über 60 % der Stimmen holte. Die anderen sieben wurden entweder besiegt oder haben weniger als 60 % der Stimmen gegenüber ihren demokratischen Herausforderern geholt. McHugh setzte sich auch 2008 mit 65,3 % der Stimmen gegen den Demokraten Mike Oot durch.

Secretary of the Army

Am 2. Juni 2009 wurde er von US-Präsident Barack Obama für die Stellung des Secretary of the Army nominiert. Er wurde am 21. September 2009 als 21. Secretary of the Army vereidigt. Sein Kongressmandat fiel nach einer Nachwahl an den Demokraten Bill Owens. Bis Mai 2016 übte McHugh das Amt als Heeresminister aus.