Senator und Justizminister unter Präsident Taylor

Johnson begann seine politische Laufbahn 1821 mit der Wahl zum Mitglied des Senats von Maryland, dem er bis 1825 angehörte. Erst am 4. März 1845 übernahm er wieder ein politisches Amt nach seiner Wahl zum US-Senator. Dort vertrat er bis zum 7. März 1849 die Interessen der Whig Party.

Am 8. März 1849 berief ihn US-Präsident Zachary Taylor zum Justizminister (Attorney General) in sein Kabinett. Dieses Amt übte er bis zum Tod von Präsident Taylor aus und trat dann am 21. Juli 1850 zurück. Nachfolger wurde der bisherige Gouverneur von Kentucky, John J. Crittenden.

Als Vertreter des konservativen Flügels der Demokratischen Partei unterstützte er bei den Präsidentschaftswahlen von 1856 Stephen A. Douglas.

Sezessionskrieg, US-Senator und Botschafter

Als Anwalt war er 1857 Verteidiger des Beklagten im Verfahren Dred Scott v. Sandford. Dieses war ein Gerichtsverfahren vor dem Obersten Gerichtshof der Vereinigten Staaten. Das durch Chief Justice Taney, dem langjährigen Partner Johnsons, verkündete Urteil, das die Rechte der Sklavenhalter stärkte, wird von vielen als ein Hauptanlass für den Ausbruch des Amerikanischen Sezessionskrieges und der nachfolgenden Abschaffung der Sklaverei durch Verabschiedung von den Zusatzartikeln 13, 14 und 15 zur Verfassung der Vereinigten Staaten gesehen.

Johnson selbst war ein Gegner der Sklaverei und eine Schlüsselfigur, die Sezession von Maryland aus der Union zu verhindern. 1861 vertrat er seinen Heimatstaat auf dem Friedenskonvent. Im gleichen Jahr wurde er Abgeordneter des Repräsentantenhauses von Maryland, dem er bis 1862 angehörte. Nach der Eroberung von New Orleans am 25. April 1862 beauftragte ihn Präsident Abraham Lincoln mit der Überprüfung der Entscheidungen des Militärkommandanten der Stadt, General Benjamin Franklin Butler, der später wegen seiner drakonischen Maßnahmen gegenüber der Zivilbevölkerung abberufen wurde.

Am 4. März 1863 wurde er erneut als Vertreter Marylands zum US-Senator gewählt. Dieses Amt übte er bis zum 10. Juli 1868 aus.

Nach dem Sezessionskrieg vertrat er eine gemäßigtere Politik der Reconstruction als die offizielle Meinung der Radical Republicans. 1866 war er Delegierter der National Union Convention, die Präsident Andrew Johnson unterstützte. Sein Bericht über die Beratungen dieser Versammlung war später auch Bestandteil des Impeachment gegen Johnson im Februar und März 1868.

Johnson berief ihn 1868 als Nachfolger von Charles Francis Adams zum Gesandten im Vereinigten Königreich. Bald nach seiner Ankunft in England unterzeichnete er mit Außenminister George Villiers den Johnson-Clarendon-Vertrag zur Beilegung von Disputen aufgrund des Sezessionskrieges. Allerdings verweigerte der Senat die Ratifizierung des Vertrages. Nach dem Amtsantritt von Ulysses S. Grant am 4. März 1869 wurde er von seinem Gesandtenposten abberufen.

Anschließend war er wieder als Anwalt tätig und wurde als solcher von der Regierung an der Anklage gegen den Ku-Klux-Klan beteiligt. In den folgenden Jahren gab er auch Berichte über die Entscheidungen des Appellationsgerichts von Maryland.

Johnson starb durch einen Sturz vom Balkon der Residenz des Gouverneurs von Maryland in Annapolis.