Familie und Mexikanisch-Amerikanischer Krieg

Cadwalader stammte aus einer angesehenen Familie, die sich sowohl im öffentlichen Leben als auch im Militärwesen Amerikas engagierte. Sein Urgroßvater Thomas Cadwalader war Gründer von Trenton und Gründer der Library Company of Philadelphia sowie des Pennsylvania Hospital. Sein Großvater John Cadwalader war General unter George Washington während des Amerikanischen Unabhängigkeitskrieges. Er selbst war das zweite Kind von Thomas Cadwalader und Mary Biddle, deren Vater Clement Biddle ebenfalls General im Unabhängigkeitskrieg und später Richter war. Sein älterer Bruder John Cadwalader war Mitglied im US-Repräsentantenhaus für den 5. Kongresswahlbezirk Pennsylvanias sowie Richter am für den östlichen Distrikt Pennsylvanias zuständigen US District Court.

Er selbst verbrachte seine Kindheit in Philadelphia und studierte nach dem Schulbesuch Rechtswissenschaften. Nach der anwaltlichen Zulassung war er bis 1846 als Rechtsanwalt tätig und nahm dann als Brigadegeneral der Freiwilligentruppen am Mexikanisch-Amerikanischen Krieg zwischen 1846 und 1848 teil. Für seine Tapferkeit und Verdienste bei den Schlachten von Molino del Rey und Chapultepec wurde ihm der Brevet-Rang eines Generalmajors verliehen.

Über seine während des Kriegs gemachten Erfahrungen verfasste er das autobiografisch geprägte Buch Services in the Mexican Campaign of 1847 (1848).

Sezessionskrieg

Nach dem Ende des Krieges nahm er seine anwaltliche Tätigkeit in Philadelphia wieder auf, ehe er 1861 von Andrew Gregg Curtin, dem Gouverneur Pennsylvanias, zum Generalmajor der Freiwilligentruppen des Bundesstaates ernannt wurde. Im Mai 1861 wurde er mit dem Kommando über Baltimore betraut, das sich zu der Zeit in einer aufkommenden Revolte gegen die US-Regierung befand.

Im Juni 1861 wurde er Stellvertreter von General Robert Patterson als Kommandeur der Shenandoah-Armee der Nordstaaten und nahm mit diesem am Feldzug gegen Winchester teil. Am 25. April 1862 erfolgte seine Ernennung zum Generalmajor der Freiwilligentruppen sowie im Dezember 1862 zum Mitglied eines Gremiums zur Überarbeitung der militärischen Gesetze und Regularien der USA.