1978–1992

Er trat in die Awoda-Partei, die Israelische Arbeiterpartei, ein, schon bald nachdem er das Militär verlassen hatte, und war Minister des jungen Flügels von 1978 bis einschließlich 1989. Er ist ein Mitglied in der Knesset seit der Wahl im Jahre 1981. Er ist Mitglied zahlreicher Komitees gewesen und saß dem Finanzausschuss von 1988 bis 1992 vor. Nachdem die Arbeitspartei 1988 zum zweiten Mal in Folge eine Regierung der Nationalen Einheit mit der Likud-Partei gebildet hatte, gehörte Ramon neben anderen jungen Politikern wie Jossi Beilin oder Avraham Burg zu den parteiinternen Gegnern der Koalition, die sich u. a. für eine territorialpolitische Neuausrichtung der Arbeitspartei und für Gespräche mit der PLO einsetzten. Außerdem machte sich Ramon für eine Reform der mächtigen Histadrut-Gewerkschaft stark.

1992–1998

Bei der Wahl des Awoda-Vorsitzenden 1992 unterstützte Ramon Jitzchak Rabin und gehörte in der Folge zu dessen Wahlkampfteam. Nach Rabins Sieg bei den Knessetwahlen 1992 war Ramon als Verhandlungsführer wesentlich am Zustandekommen der Koalition mit der religiösen Shas-Partei beteiligt und wurde in der neuen Regierung Rabins zum Gesundheitsminister ernannt. Da er aber seine Pläne zur Histradut-Reform nicht umsetzen konnte, trat er im Jahre 1994 zurück. In der Folge bewarb sich Ramon mit der Unterstützung von Amir Peretz erfolgreich um den Vorsitzendenposten der Histradut. Als Kopf einer eigenen Wahlliste unter Beteiligung von Shas und der linken Meretz trat er gegen die Arbeitsparteiliste an. Nach seinem Sieg konnte er die von ihm angestrebte Reform der Gewerkschaft in Zusammenarbeit mit der Arbeitspartei weitgehend umsetzen. Nach der Ermordung Rabins im Jahr 1995 kehrte Ramon in die Regierung unter Schimon Peres zurück, in der er als Innenminister fungierte. Neben Ehud Barak gehörte Ramon in dieser Zeit zu den Favoriten für die parteiinterne Nachfolge von Schimon Peres als Parteichef der Awoda. Bei den Knesset- und Premierministerwahlen 1996 gehörte Ramon neben Barak zu den wesentlichen Wahlkampfstrategen, jedoch verloren Peres und die Arbeitspartei die Wahlen gegen die Likud-Partei unter Benjamin Netanjahu.

1999–2005

Die Arbeitspartei kam im Jahre 1999 unter Ehud Barak erneut an die Macht und Ramon erhielt einen Posten im Büro des Regierungschefs, wo er die Regierungsreform und die Beziehungen zwischen Regierung und Knesset überwachte. Er übernahm ein zweites Mal das Amt des Innenministers im Jahre 2000, welches er bis zum Sturz von Baraks Regierung im Jahre 2001 innehatte. Er opponierte gegen Baraks Vorschlag, in einer Koalition unter Ariel Scharon einzutreten, und beteiligte sich nicht an der Koalition, welche von Sharon und Baraks Nachfolger im Amte des Arbeitspartei-Chefs, Benjamin Ben Eliezer, gebildet worden war. Er bewarb sich um den Parteivorsitz der Arbeitspartei im November 2002, verlor jedoch gegen Amram Mitzna. Im Anschluss an Ariel Sharons Bruch mit Likud, und der Bildung der zentristischen Kadima-Partei, entzweite sich Ramon mit der Arbeitspartei und schloss sich Kadima an. Er war der erste Politiker der Arbeitspartei, der Kadima beitrat.

2006

Im Israelischen Kabinett, welches im Jahre 2006 gebildet worden war und an dessen Spitze Ehud Olmert stand, fungierte Ramon als Justizminister. Am 20. August hat er seinen Rücktritt eingereicht, der am 22. August in Kraft trat.

2007 bis heute

Anfang Juli 2007 wurde Ramon zum stellvertretenden Ministerpräsidenten (Vizepremier) Israels sowie zum Minister im Büro des Ministerpräsidenten und zum Mitglied des Sicherheitskabinetts ernannt.

Ende Juli 2007 sprach sich Ramon in einem Rundfunkinterview für den weitgehenden Rückzug Israels aus dem Westjordanland aus und erklärte, in seinen Augen „bedroht die Besetzung der Gebiete unsere Existenz, unsere Legitimität und unser internationales Ansehen“.

Nachdem seine Partei sich nach den Knessetwahlen 2009 entschlossen hatte, dem neuen von Benjamin Netanjahu gebildeten Kabinett nicht beizutreten, saß Ramon in der 18. Knesset in der Opposition. Am 2. Juli 2009 schied er aus der Knesset aus und seine Parteikollegin Yulia Shamalov-Berkovich rückte für ihn nach.

In seinem 2020 herausgegebenen Buch „Neged Haruach“ schreibt Ramon, dass zwischen 2012 und 2018 Netanyahu Katar die Zustimmung gab, eine Summe von etwa einer Milliarde Dollar nach Gaza zu überweisen, von der mindestens die Hälfte Hamas erreichte, einschließlich ihres militärischen Flügels. Laut der Jerusalem Post erklärte Netanyahu in einem privaten Treffen mit Mitgliedern seiner Likud-Partei am 11. März 2019 den Schritt wie folgt: Die Geldüberweisung ist Teil der Strategie, die Palästinenser im Gazastreifen und im Westjordanland zu spalten. Jeder, der gegen die Gründung eines palästinensischen Staates wäre, müsse die Überweisung des Geldes aus Katar an Hamas unterstützen. Auf diese Weise würde die Gründung eines palästinensischen Staates vereitelt werden.