College

Ivory spielte College Football für die Washington State University und die Tiffin University. Eingeschränkt durch Verletzungen gelangen ihm in 22 Spielen mit 91 Läufen 534 Yards und vier Touchdowns, sowie 23 Kickoff-Returns von durchschnittlich 22,8 Yards. Als die Trainer, die ihn angeworben hatten, ersetzt wurden, befand er sich nicht mehr auf der Liste der Stammspieler. Im August 2009 wurde Ivory von der Washington State University wegen Verstoßes gegen die Teamregeln entlassen. Er wechselte dann nach Tiffin, Ohio, an das dortige College der Division II (NCAA). Das Team wurde von Dave Walkosky, einem ehemaligen Assistenztrainer der Washington State University, trainiert. In seinem letzten Collegejahr erzielte Ivory 39 Läufe für 223 Yards in fünf Spielen, bevor er aufgrund einer Knieverletzung die Saison beenden musste. Trotz seines kurzen Aufenthalts an der Tiffin University wurde die Leistung und Geschwindigkeit von Ivory von Scouts der NFL bemerkt und er bekam die Chance als erster Spieler von Tiffin den Sprung in die NFL zu schaffen. So wurde ein Scout der New Orleans Saints trotz seiner Verletzungen auf Ivory aufmerksam, nachdem er von den begeisterten Empfehlungen von Walkosky hörte.

NFL