James Ernest Wharton (* 23. März 1899 in Binghamton, New York; † 19. Januar 1990 in Summit, New York) war ein US-amerikanischer Politiker der Republikanischen Partei und Mitglied des US-Repräsentantenhauses für den Staat New York.
Wharton machte seine Ausbildung am Union College und der Albany Law School. Von 1920 bis 1929 arbeitete er für Travelers, bevor er als privater Rechtsanwalt in Richmondville tätig war; von 1932 bis 1941 fungierte er als District Attorney im Schoharie County sowie dann bis 1951 als County Judge. Er diente während des Zweiten Weltkrieges in der United States Army.
Wharton wurde 1950 in den Kongress gewählt und verblieb dort vom 3. Januar 1951 bis zum 3. Januar 1965, nachdem er 1964 seine Wiederwahl gegen den Demokraten Joseph Y. Resnick verlor. Er zog sich danach aus der Politik zurück und war auf dem Gebiet der Grundstückserschließung tätig.