Trainer beim FC Augsburg und der SpVgg Greuther Fürth

Als Trainer betreute er zwischen 1990 und 1995 den Bayernligisten FC Augsburg, mit dem er 1994 in die Regionalliga aufstieg. Ab 1996 war er für die SpVgg Greuther Fürth tätig, mit der er 1997 in die 2. Bundesliga aufstieg. Im Oktober 1997 wurde Veh dort entlassen.

SSV Reutlingen

Von Juli 1998 bis Dezember 2001 war er Trainer des SSV Reutlingen 05, mit dem er im Jahr 2000 ebenfalls in die 2. Bundesliga aufstieg. Mit 102 Toren und 87 Punkten gilt dieser Aufstieg als Regionalligarekord in der Staffel Süd. In der Saison 2000/01 führte Veh den SSV Reutlingen zwischenzeitlich auf Platz 7 der 2. Bundesliga. Auch in der folgenden Saison geriet Reutlingen nicht in Abstiegsgefahr. Am 12. Dezember 2001 erklärte Veh jedoch seinen Rücktritt, um das Traineramt beim damaligen Bundesligisten Hansa Rostock zu übernehmen.

Hansa Rostock

Am 3. Januar 2002 nahm er seine Tätigkeit bei Hansa Rostock auf. Die Rückrunde der Saison 2001/02 verlief enttäuschend (auswärts wurde kein einziger Punkt gewonnen); Rostock sicherte erst am 33. Spieltag den Klassenerhalt. In der Hinrunde 2002/03 stand Hansa zwischenzeitlich auf Platz 2 in der Bundesliga. Der Erfolg war jedoch von kurzer Dauer, schon zur Winterpause fand man sich im Abstiegskampf wieder. Der Klassenerhalt wurde erneut am 33. Spieltag mit einem 3:0-Sieg gegen Arminia Bielefeld gesichert. Die ersten Partien der Saison 2003/04 verliefen wiederum schlecht für die Mannschaft von Armin Veh; am 6. Oktober 2003 trat er nach vier Niederlagen in Serie zurück.

FC Augsburg

Am 13. Oktober 2003 wurde Veh wieder Trainer beim damaligen Regionalligisten FC Augsburg. Seinen Entschluss, eine niederklassige Mannschaft zu trainieren, begründete er damit, in Zukunft wieder bei seiner in Augsburg lebenden Familie sein zu wollen. Veh führte die Mannschaft in der Saison 2003/04 noch auf den vierten Platz (bei seiner Übernahme lag sie im Mittelfeld der Tabelle), und Augsburg verpasste den Aufstieg in die 2. Bundesliga nur knapp. Der Start in die Saison 2004/05 misslang, sodass Veh am 27. September 2004 durch Rainer Hörgl ersetzt wurde.

Meistertrainer beim VfB Stuttgart

Anschließend war Veh fast eineinhalb Jahre ohne Beschäftigung, bevor ihm der VfB Stuttgart im Februar 2006 die Nachfolge von Giovanni Trapattoni anbot. Der zunächst nur bis Juni laufende Kontrakt wurde bald um ein Jahr bis Sommer 2007 verlängert. Die Rückrunde der Saison 2005/06 verlief jedoch schwierig; Veh schied mit seiner Mannschaft im UEFA-Pokal aus, und Stuttgart landete in der Bundesliga nur auf dem neunten Rang.

Für die Saison 2006/07 verpflichteten Veh und der neue Manager Horst Heldt einige neue Spieler. Allmählich konnte er aus dem Kader eine funktionierende Mannschaft formen. Zur Winterpause stand der VfB bereits auf dem vierten Platz. Im Januar wurde der Vertrag um ein weiteres Jahr bis Sommer 2008 verlängert. Die Mannschaft setzte ihren Lauf in der Rückrunde fort und übernahm am 33. Spieltag mit einem Sieg beim VfL Bochum die Tabellenführung, weil der bisherige Spitzenreiter FC Schalke 04 im Revierderby in Dortmund 0:2 unterlag. Am letzten Spieltag besiegte der VfB Stuttgart Energie Cottbus mit 2:1 und war Deutscher Meister 2007. Gleichzeitig zog die Mannschaft ins DFB-Pokalfinale ein, in dem jedoch der 1. FC Nürnberg mit 3:2 n. V. die Oberhand behielt. Unter Veh waren Spieler wie Pavel Pardo, Roberto Hilbert, Thomas Hitzlsperger und Mario Gómez zu Bundesliga-Stars geworden.

Die Saison 2007/08 verlief wieder eher schwierig. Die Mannschaft schied mit nur einem Sieg bei fünf Niederlagen als Gruppenletzter aus der Champions League aus. Auch in der Liga verlief der Start schleppend, nach zehn Spieltagen fand sich Stuttgart auf Rang 14 der Tabelle wieder. Dennoch konnte der VfB die Saison auf dem sechsten Tabellenplatz beenden und damit einen Startplatz im UI-Cup erreichen, über den er sich dann für den UEFA-Pokal qualifizierte.

Am 23. November 2008 wurde Veh schließlich beurlaubt, als der VfB nach 14 Spielen der Saison 2008/09 nur auf Platz 11 der Tabelle stand. Die Trennung erfolgte nach dem Spiel beim VfL Wolfsburg – dem Verein, den er anschließend trainierte.

VfL Wolfsburg

Am 1. Juli 2009 wurde Veh als Nachfolger von Felix Magath in Personalunion Trainer, Sportdirektor und Geschäftsführer beim Deutschen Meister VfL Wolfsburg. Er erhielt einen Vertrag bis zum 30. Juni 2011. Anfang Januar 2010 übernahm Dieter Hoeneß Vehs Aufgabenbereich als Manager.

Nach neun Pflichtspielen ohne Sieg und einer weiteren Niederlage (2:3) gegen den 1. FC Köln stellte ihn der Vorstand des VfL Wolfsburg am 25. Januar 2010 von seinen Aufgaben frei.

Hamburger SV

Am 1. Juli 2010 wurde Veh Cheftrainer beim Hamburger SV. Er unterschrieb einen Vertrag bis zum 30. Juni 2012, der eine einseitige Kündigungsoption nach Ablauf eines Jahres enthielt. Von dieser Ausstiegsklausel machte er am 8. März 2011 Gebrauch und erklärte, ab Sommer 2011 nicht mehr zur Verfügung zu stehen. Grund für die Trennung war der chaotische Saisonverlauf des Hamburger SV nach ständigen vereinsinternen Querelen um den Posten des Sport- und Vorstandschefs, weswegen der Verein nie zur Ruhe kam: „Mit der Entwicklung im Verein kann man aus meiner Sicht nicht arbeiten. Es geht hier teilweise nicht mehr um Fußball, was aber mein Job ist. Auch wenn wir sportlich nicht dort stehen, wo wir gerne stehen würden, braucht man dennoch eine Perspektive. Diese ist für mich nicht vorhanden.“ Die schwierige sportliche Situation des HSV, der an dem Spieltag vor Vehs Rücktritt gegen den direkten Konkurrenten um einen Europa-League-Platz Mainz 05 eine 2:4-Heimniederlage einsteckte (wobei sich der Abstand auf den fünften Tabellenplatz auf fünf Punkte vergrößerte), nannte Veh nicht als Grund für seine Entscheidung. Jedoch bereits am 13. März 2011 wurde er von Vereinsseite nach einer 0:6-Niederlage beim FC Bayern München vorzeitig freigestellt.

Eintracht Frankfurt

In der Sommerpause 2011 verpflichtete Eintracht Frankfurt Veh als Cheftrainer und Nachfolger von Christoph Daum. Am Ende der Saison 2011/12 stieg er mit der Eintracht in die 1. Bundesliga auf. Kurz vor Saisonende verlängerte er seinen Vertrag bis 30. Juni 2013. Im Jahr nach dem Aufstieg erreichte er mit der Eintracht völlig überraschend als Tabellensechster den Europapokal und hatte sich lange Zeit sogar auf einem Champions-League-Platz befunden. Am 25. März 2013 verlängerte Veh seinen Vertrag erneut bis 2014. Anfang März 2014, während einer Saison im Abstiegskampf und aus der Europa League in der ersten K.-o.-Runde ausgeschieden, kündigte er an, seinen Vertrag nach der Saison 2013/14 nicht mehr zu verlängern, da er wieder häufiger Siege feiern wolle.

Rückkehr zum VfB Stuttgart

Am 12. Mai 2014 unterzeichnete Veh einen mit der Bundesligasaison 2014/15 beginnenden Zweijahresvertrag beim VfB Stuttgart. Nachdem sich der Verein Ende 2014 von seinem Sportvorstand Fredi Bobic getrennt hatte, übernahm er zusammen mit dem Sportdirektor Jochen Schneider interimsweise die sportliche Leitung des Vereins. Nach nur neun gewonnenen Punkten aus zwölf Spielen trat Veh nach dem 12. Spieltag am 24. November 2014 als Cheftrainer zurück.

Rückkehr zu Eintracht Frankfurt

Am 14. Juni 2015 unterschrieb Veh einen Zweijahresvertrag und kehrte damit nach nur einem Jahr zu Eintracht Frankfurt zurück. Nach sieben sieglosen Spielen, nach denen die Mannschaft auf dem Relegationsplatz stand, wurde er am 6. März 2016 als Cheftrainer freigestellt.

Geschäftsführer beim 1. FC Köln

Am 11. Dezember 2017 wurde Veh „Geschäftsführer Sport“ beim 1. FC Köln als Nachfolger von Jörg Schmadtke. Ende Oktober 2019 kündigte er an, seinen bis 30. Juni 2020 laufenden Vertrag nicht zu verlängern und den 1. FC Köln am Saisonende zu verlassen. Bereits am 8. November 2019 trennten sich der Verein und Veh.

Erfolge als Trainer

• Deutscher Meister: 2007 (VfB Stuttgart)
• DFB-Pokal-Finalist: 2007 (VfB Stuttgart)
• Aufstieg in die 1. Bundesliga: 2012 (Eintracht Frankfurt)
• Erreichen des Europapokals als Aufsteiger 2013 (Eintracht Frankfurt)
• Aufstieg in die 2. Bundesliga: 1997 (SpVgg Greuther Fürth), 2000 (SSV Reutlingen)

Auszeichnungen

• Kicker-Trainer des Jahres: 2007
• Fußballtrainer des Jahres: 2007