Celtic Glasgow (1961–1971)

Gemmell spielte als linker Außenverteidiger und war vor allem für seine kraftvollen Weitschüsse bekannt. Am 25. Oktober 1961 wechselte er von Coltness United zu Celtic Glasgow. Er war einer der Lisbon Lions, die 1967 als erste britische Mannschaft den Europapokal der Landesmeister mit 2:1 gegen Inter Mailand gewannen. Im Endspiel dieses Wettbewerbs schoss er ein spektakuläres Tor, das zum zwischenzeitlichen 1:1-Ausgleich führte. Insgesamt erzielte er vier Treffer während des laufenden Wettbewerbs. Im Europapokal der Landesmeister 1969/70 erzielte er im Finale gegen Feyenoord Rotterdam mit der 1:0-Führung ein weiteres Tor und ist damit einer von zwei britischen Spielern, die es geschafft haben, in zwei verschiedenen Europapokalendspielen jeweils ein Tor zu erzielen; der andere Spieler, dem dies gelang, ist Phil Neal vom FC Liverpool. Die Finalpartie verlor Celtic mit 1:2 nach Verlängerung gegen den niederländischen Meister.

Gemmell spielte 418 Mal für Celtic und schoss 64 Tore. In 247 Ligaspielen erzielte er 37 Tore, in 43 schottischen Pokalspielen konnte er fünf Mal treffen, in 74 Ligapokalspielen gelang ihm dies zehn Mal und in 54 Europapokalspielen konnte er zwölf Tore für sich verbuchen. Von 37 geschossenen Strafstößen wurden 34 erfolgreich verwandelt. Zwischen 1966 und 1971 gewann er mit Celtic sechs schottische Meisterschaften in Serie.

Nottingham Forest (1971–1973)

Am 17. Dezember 1971 wechselte er zum englischen Erstligisten Nottingham Forest, wo er Liam O’Kane vertreten sollte. Die Mannschaft hatte in den letzten Jahren viele wichtige Spieler verloren und Gemmell stieg bereits in seiner ersten Saison in England aus der Football League First Division 1971/72 in die zweite Liga ab. Im Juli 1973 kehrte er nach einem kurzen Aufenthalt in den USA nach Schottland zurück.

FC Dundee (1973–1977)

Tommy Gemmell unterzeichnete einen neuen Vertrag beim FC Dundee und gewann gegen seinen ehemaligen Verein Celtic 1974 das Finale des Scottish League Cups. Später war er als Trainer für Dundee und die Albion Rovers tätig.

Schottische Nationalmannschaft (1966–1971)

Im April 1966 debütierte er für Schottland in einem Länderspiel gegen England. Im folgenden Jahr war er am schottischen 3:2-Sieg im Wembley-Stadion gegen den amtierenden Weltmeister England beteiligt. Er absolvierte 18 Länderspiele für Schottland und erzielte ein Tor durch einen erfolgreichen Elfmeter in einem 8:0-Sieg gegen Zypern während der Qualifikation für die Fußball-Weltmeisterschaft 1970.