Unterstaatssekretär, Unterhausabgeordneter und Friede von Gent 1814

Goulburn war ein Sohn von Munbee Goulburn und dessen Ehefrau Susannah Chetwynd, einer Tochter von William Chetwynd, 4. Viscount Chetwynd of Bearhaven. Sein jüngerer Bruder Edward Goulburn war ein Offizier, Rechtsanwalt sowie Dichter, der 1809 wegen seines satirischen Gedichts The Blueviad wegen Verleumdung verurteilt wurde. Er selbst absolvierte ein grundständiges Studium am Trinity College der University of Cambridge, das er 1805 mit einem Bachelor of Arts (B.A.) abschloss. Ein darauf folgendes postgraduales Studium an der University of Cambridge beendete er 1808 mit einem Master of Arts (M.A.).

In der Regierung des am 11. Mai 1812 ermordeten Premierministers Spencer Perceval bekleidete er zwischen 1810 und 1812 das Amt eines Unterstaatssekretärs im Innenministerium (Home Office). Am 9. Juni 1812 wurde Goulburn als Kandidat der konservativen Tories erstmals zum Mitglied des House of Commons gewählt und vertrat dort zunächst bis zum 17. Juni 1818 den Wahlkreis St. Germans sowie im Anschluss zwischen dem 19. Juni 1818 und dem 9. Juni 1826 den Wahlkreis West Looe. Er war zwischen 1812 und 1821 in der Regierung von Premierminister Robert Jenkinson, 2. Earl of Liverpool Unterstaatssekretär beim Minister für Krieg und Kolonien (Secretary of State for War and the Colonies), Henry Bathurst, 3. Earl Bathurst, wobei er dieses Amt von 1812 bis 1816 gemeinsam mit Henry Edward Bunbury bekleidete.

In dieser Funktion wurde er im Mai 1814 auch zum Friedenskommissar ernannt, um zusammen mit Admiral James Gambier und dem Rechtsanwalt William Adams die Friedensverhandlungen mit den USA zur Beendigung des Britisch-Amerikanischen Krieges von 1812. Die britische Delegation reiste im August 1814 nach Gent, um sich dort mit der US-amerikanischen Delegation zu treffen, die aus dem früheren Finanzminister Albert Gallatin, dem bisherigen Botschafter im Russischen Kaiserreich John Quincy Adams, dem früheren US-Senator James A. Bayard, Sr., dem bisherigen Sprecher des US-Repräsentantenhauses Henry Clay sowie dem Geschäftsträger an der Botschaft im Vereinigten Königreich Jonathan Russell bestand. Am 24. Dezember 1814 unterzeichneten die beiden Friedenskommissionen den Friedensvertrag von Gent, der letztlich die Territorialgrenzen sowie die Seerechte auf den Status vor dem Krieg wiederherstellte.

Chefsekretär von Irland, Schatzkanzler und Innenminister

1821 berief ihn Premierminister Liverpool als Nachfolger von Charles Grant zum Chief Secretary for Ireland beim Lord Lieutenant of Ireland. Er war damit die wichtigste Verbindungsperson zwischen der Verwaltung in Irland und dem britischen Kabinett. Dieses Amt bekleidete er bis zum Ende von Liverpools Amtszeit am 10. April 1827. Zwischenzeitlich war er am 19. Juni 1826 auch wieder zum Abgeordneten in das Unterhaus gewählt worden, in dem er nun bis zum 10. Mai 1831 den Wahlkreis Armagh vertrat.

Am 26. Januar 1828 wurde Goulburn von Premierminister Arthur Wellesley, 1. Duke of Wellington erstmals zum Schatzkanzler (Chancellor of the Exchequer) in dessen erste Regierung berufen und gehörte dieser bis zum Ende von Wellingtons Amtszeit am 22. November 1830 an. Nachdem er knapp 18 Monate nicht dem Unterhaus angehört hatte, wurde er am 10. Dezember 1832 wieder zum Mitglied des House of Commons gewählt und vertrat dort bis zu seinem Tod den Wahlkreis Cambridge University.

Premierminister Robert Peel ernannte ihn am 15. Dezember 1834 zum Innenminister (Home Secretary). Er bekleidete dieses Ministeramt bis zum 18. April 1835. Zuletzt fungierte er vom 30. August 1841 bis zum 30. Juni 1846 im zweiten Kabinett Peel erneut als Schatzkanzler.

Aus seiner am 20. Dezember 1811 geschlossenen Ehe mit Jane Montagu, einer Tochter von Matthew Montagu, 4. Baron Rokeby, ging der einzige Sohn Henry Goulburn hervor, der jedoch bereits am 8. Juni 1843 verstarb. Zu seinen Besitztümern gehörte auch eine Plantage in Jamaika.