Verein

Richardson besuchte die Riverston Independent Day School in Lee, London. Mit dem Fußballspielen begann er an der Parkwood Primary School, wo sich sein Talent schon in frühen Tagen zeigte. Er ging später zu West Ham United, wo er erstmals mit den Profis trainierte. Noch bevor er seinen ersten Einsatz feiern konnte, wechselte er 2001 zu Manchester United. In seiner ersten Saison bei Manchester United spielte er für die Reserve. In der ersten Mannschaft bekam er die Rückennummer 42, ohne jedoch eingesetzt zu werden.

Im Sommer 2002 wurde er vollwertiges Mitglied der Profimannschaft. Am 23. Oktober 2002 gab er sein Debüt, als er in der Champions League gegen Olympiakos Piräus eingewechselt wurde. Sein erstes Tor schoss er im Ligacup gegen Leicester City am 5. November 2002. Insgesamt bestritt er in jener Saison neun Spiele für die erste Mannschaft (1 Tor).

Zu Beginn der Saison 2003/04 bekam er die Rückennummer 23, welche seine höhere Wertschätzung ausdrücken sollte. Allerdings kam er nur zu drei Einsätzen, alle in der Champions League oder im FA Cup. In der Saison 2004/05 hatte er bis zur Saisonmitte neun Spiele (1 Tor) bestritten, trotzdem entschied Alex Ferguson ihn auszuleihen, um ihm mehr Spielpraxis zu ermöglichen. Am 29. Januar 2005 wurde er zu West Bromwich Albion verliehen. Unter Bryan Robson wurde Richardson Stammspieler im zentralen Mittelfeld. Er erzielte drei Tore in zwölf Partien.

Zu Beginn der Saison 2005/06 kehrte er nach Manchester zurück, in der Hoffnung, Stammspieler zu werden. Den Durchbruch schaffte er, als er den verletzten Gabriel Heinze als Linksverteidiger vertrat. Anschließend kehrte er ins Mittelfeld zurück, wo er einige gute Spiele bestritt. Er lief in jener Spielzeit 36-mal auf und erzielte sechs Tore. In der Saison 2006/07 bekam er seine Einsätze meistens im Ligacup oder im FA Cup. Im Juli 2007 wechselte Richardson für £ 5,5 Millionen Pfund (8,2 Millionen €) zum AFC Sunderland. Dort unterzeichnete er einen Vertrag für vier Jahre.

Am 31. August 2012 wechselte Richardson zum FC Fulham, wo er einen Dreijahresvertrag bis zum 30. Juni 2015 unterschrieb.

Nach dem Abstieg mit Fulham wechselte Richardson zur Saison 2014/15 zu Aston Villa.

Nationalmannschaft

Sein erstes Spiel mit der englischen U-21-Auswahl gewann er am 8. Februar 2005. Es war ein Freundschaftsspiel gegen die niederländische U21.

Nach einigen überzeugenden Vorstellungen für West Bromwich Albion wurde er am Ende der Saison 2004/05 zur Reise der englischen Nationalmannschaft in die USA eingeladen. In seinem ersten Länderspiel für England, bei dem er von Beginn an auflief, erzielte er auf Anhieb zwei Tore gegen die USA, eines per Freistoß. Im darauf folgenden Spiel gegen Kolumbien wurde er eingewechselt. Später kehrte er wieder in die U21 zurück, wo er in den beiden Playoffs zur U-21-Europameisterschaft gegen Frankreich zum Einsatz kam, die England in der Addition allerdings mit 2:3 verlor.

In der Qualifikation zur Weltmeisterschaft 2006 bestritt er zwei weitere Länderspiele, gegen Wales in Cardiff und gegen Österreich im Old Trafford. Jedoch wurde er nicht für die WM 2006 nominiert. In der Saison 2006/07 wurde er vom neuen Nationalcoach Steve McClaren erneut berufen und kam zu einigen weiteren Einsätzen für England. Insgesamt bestritt er acht U-21-Länderspiele für England (kein Tor) und acht A-Länderspiele (2 Tore).