Aufstieg im Dienst des Schwarzen Prinzen

Als Audleys Vater 1334 starb, erbte sein Onkel Hugh de Audley die Besitzungen seines Vaters. da James als illegitim galt. Nach dem Tod seiner Großmutter väterlicherseits Isolt de Mortimer 1338 erbte er jedoch deren Gut Eastington in Gloucestershire. Erstmals wird Audley mit Sicherheit nachweisbar im Juni 1346 im Gefolge von Edward of Woodstock, des Schwarzen Prinzen erwähnt, in dessen Gefolge er während des Hundertjährigen Kriegs am Feldzug nach Frankreich teilnahm. Er war einer von vier Knappen, die der Schwarze Prinz vor der Schlacht von Crécy zum Ritter schlug. Nach dem englischen Sieg nahm er an der langwierigen, doch schließlich erfolgreichen Belagerung von Calais teil. Als Gefolgsmann des Schwarzen Prinzen gehörte er zu den Gründungsmitgliedern des Hosenbandordens. Ob er 1350 an der Seeschlacht von Winchelsea und 1351 am Entsatz von Saint-Jean-d’Angély teilnahm, ist umstritten. Im Juni 1351 gehörte er zum Gefolge des Schwarzen Prinzen, als dieser London besuchte. Am 31. Dezember 1353 nahm er zusammen mit Sir John Chandos an einem Turnier in Eltham teil, bei dem er mit einer Rüstung belohnt wurde.

Held der Schlacht von Poitiers und Kämpfe bis zum Frieden von Brétigny

Audley war für seine Dienste bereits mit einer jährlichen Pension in Höhe von £ 80 belohnt worden, als er 1355 den Schwarzen Prinzen nach Bordeaux begleitete. Im Herbst des Jahres gehörte er zum englischen Heer, das eine Chevauchée bis nach Narbonne unternahm. Dabei unternahm er zusammen mit Chandos einen Vorstoß gegen den Grafen Jean von Armagnac. Anfang 1356 führte er von Moissac Überfälle in das Agenais, bei denen er das nahe gelegene Castelsagrat eroberte. Als der Schwarze Prinz 1356 seine Chevauchée durch Westfrankreich durchführte, gehörten Audley und Chandos zum engen Gefolge des Prinzen. Am 28. August 1356 schlugen sie bei Vierzon eine Söldnerkompanie unter Philippe de Chambly. Als das englische Heer von dem überlegenen französischen Heer bei Poitiers gestellt wurde, gehörte er zu den englischen Führern, die zunächst eine Schlacht vermeiden wollten. In der folgenden Schlacht von Poitiers kämpfte er jedoch an vorderster Front und wurde dabei schwer verwundet. Der Schwarze Prinz soll sich persönlich um die Behandlung seiner Verletzungen gekümmert haben. Die jährliche Pension von £ 400, die ihm der Schwarze Prinz aus den Einkünften der Erzbergwerke in Südwestengland im Dezember 1356 gewährte, leitete Audley großmütig an seine vier Knappen weiter. Dazu wurden ihm später 600 Écu aus den Zolleinkünften von Marmande gewährt, dazu wurde er Seigneur der Oléron. Nach seiner Genesung nahm er vermutlich 1357 an der Belagerung von Rennes in der Bretagne teil. Von 1359 bis 1360 nahm er an dem englischen Feldzug nach Reims teil. Dabei machte er wieder zusammen mit Chandos Vorstöße bis in die Region um Soissons. Dabei eroberten sie die Burg von La Ferté-sous-Jouarre, die sie als Basis für weitere Vorstöße nutzten. Am 24. Oktober 1360 bezeugte er in Calais mit den Friede von Brétigny und die Freilassung des bei Poitiers in Gefangenschaft geratenen französischen Königs Johann II.

Weitere Kämpfe in der Bretagne und in Frankreich

Obwohl er noch bis 1361 in Frankreich blieb, wurde er 1360 zum Constable von Gloucester Castle ernannt. Nach einem kurzen Besuch in England 1361 kehrte er 1362 mit dem Schwarzen Prinzen nach Südwestfrankreich zurück. Im April 1363 war er nochmals in England, danach blieb er vermutlich bis zu seinem Tod in Frankreich. Am 26. Februar 1364 gehörte Audley wieder zum Gefolge des Schwarzen Prinzen, als dieser in Poitiers erfolglos versuchte, zwischen Jean de Montfort und Karl von Blois, den Anwärtern auf den Titel Herzog der Bretagne, zu vermitteln. Als der Schwarze Prinz im Herbst 1366 einen Feldzug nach Spanien unternahm, um dort Peter I. von Kastilien gegen Heinrich von Trastamara zu unterstützen, blieb Audley als Gouverneur des Guyenne zurück. Als 1369 der Krieg mit Frankreich wieder offen ausbrach, wurde Audley Stellvertreter des Prinzen im Poitou und im Limousin. Er unternahm Chevauchées in das Berry und in das Touraine, bevor er zusammen mit Edmund, Earl of Cambridge La Roche-sur-Yon im Bas-Poitou belagerte. Nach der Eroberung der Stadt zog sich Audley, vermutlich bereits krank, nach Fontenay-le-Comte zurück, wo er starb. Als von Freund und Feind gefeierter vorbildlicher Ritter wurde er in einem aufwändigen Begräbnis in der Kathedrale von Poitiers beigesetzt. Sein Grabmal wurde 1562 zerstört.

Audley hatte Margaret Bereford geheiratet, die jedoch schon vor April 1363 gestorben war. Die Ehe war kinderlos geblieben.