Erstes Kabinett 2002/2003

Für die Wahlen vom Mai 2002 war Balkenende Spitzenkandidat des CDA. Die Wahlen waren von der Ermordung des Politikers Pim Fortuyn überschattet; der CDA errang seine Position als stärkste Partei der Niederlande zurück. Balkenende bildete mit der rechtsliberalen VVD und der Lijst Pim Fortuyn (LPF) eine Koalition. Er selbst wurde am 22. Juli 2002 als Nachfolger des Sozialdemokraten Wim Kok Ministerpräsident.

Das erste Kabinett scheiterte aber bereits nach 82 Tagen wegen Streitigkeiten vor allem innerhalb der LPF, weshalb die gesamte Regierung zurücktrat und Neuwahlen nötig wurden. Aus diesen ging er wiederum als Sieger hervor.

Zweites und drittes Kabinett 2003–2007

Nachdem Balkenendes Versuche einer großen Koalition mit der PvdA fehlgeschlagen waren, bildete er eine christlich-liberale Koalition mit VVD und D66. Schwerpunkte der Regierung waren die Reform des Öffentlichen Dienstes, die Bekämpfung der Kriminalität, eine restriktivere Zuwanderungspolitik und drastische Ausgabenkürzungen. Dabei stieß er teilweise auf starken Widerstand und Kritik; die Umfragewerte seiner Partei wie auch für ihn selbst sanken deutlich. Dennoch verteidigte seine Partei bei den Europawahlen von 2004 den Status als stärkste Partei.

Vom 1. Juli 2004 bis 31. Dezember 2004 war er während der niederländischen Ratspräsidentschaft für ein halbes Jahr Vorsitzender des Europäischen Rates.

Infolge des Streits um die Einbürgerung der Frauenrechtlerin Hirsi Ali verließ D66 die Regierung, so dass die Koalition am 29. Juni 2006 zerbrach. Balkenende trat daraufhin zurück und formte am 7. Juli 2006 eine Minderheitsregierung, sein drittes Kabinett, aus CDA und VVD, die bis zu den vorgezogenen Neuwahlen im November 2006 im Amt blieb.

Viertes Kabinett 2007–2010

Bei den Neuwahlen am 22. November 2006 ging der CDA trotz Verlusten erneut als stärkste Partei hervor. Es folgten fast dreimonatige Koalitionsverhandlungen mit der PvdA und der CU. Das vierte Kabinett Balkenende wurde am 22. Februar 2007 vereidigt. Jan Peter Balkenende bekräftigte anlässlich der Feiern zum 50. Jahrestag der EU seine Kritik am Entwurf eines europäischen Verfassungsvertrages.

Im Streit über eine Fortsetzung des niederländischen Engagements in der ISAF-Mission in Afghanistan zerbrach im Februar 2010 die vierte Koalition unter Balkenende. Die sozialdemokratische PvdA hatte sich gegen eine Verlängerung des Mandates in der Provinz Uruzgan ausgesprochen, Balkenende befürwortete dagegen einen über August 2010 hinausgehenden Einsatz. Die PvdA erklärte daraufhin am 20. Februar 2010 ihren Rückzug aus der Regierung.

Bis zu den vorgezogenen Parlamentswahlen am 9. Juni 2010 blieb Balkenende geschäftsführend mit einer Minderheitsregierung im Amt. Im Wahlkampf zeigte er sich unter anderem mit einem T-Shirt mit der Aufschrift „Fuck drugs“ und entgegnete einer Journalistin, die ihn zu einer Koalitionsaussage drängen wollte: „U kijkt zo lief.“ („Sie schauen so lieb.“) Vor allem letzteres stieß auf Kritik, Femke Halsema, Fraktionsvorsitzende der Partei GroenLinks meinte, sie hätte das mit einem knietje („Knietritt in die Leistengegend“) beantwortet.

Die Halbierung der CDA-Fraktion bei jener Wahl brachte ihn am Wahlabend dazu, seinen Rückzug aus der Politik anzukündigen.