Karrierebeginn in Tschechien

Drobný begann das Fußballspielen als Sechsjähriger 1985 bei Slavoj Žirovnice. Er ging 1993 von dort zu Dynamo Budweis, wo er bis 1997 spielte. Von dort wechselte er im Januar 1998 zum SK Chrudim und bereits nach einem halben Jahr und neun Spielen in der 2. tschechischen Liga Mitte 1998 zum damaligen Zweitligisten FC Vítkovice. Dort kam er zu sieben Einsätzen in der 1. Mannschaft. Er wechselte im Juli 1999 zurück zum SK České Budějovice.

Wechsel nach Athen und englische Liga

Nach zwei Jahren in der Gambrinus Liga wechselte der Torhüter 2001 zum griechischen Erstligisten Panionios Athen, bei dem er vier Spielzeiten lang Stammtorhüter war und auf insgesamt 101 Ligaspiele kam.

Im Sommer 2005 wurde er vom FC Fulham verpflichtet, bei dem er einen Dreijahresvertrag bis 2008 unterzeichnete. Allerdings zog er sich zu Saisonbeginn eine Knieverletzung zu, woraufhin Fulham Tony Warner und Antti Niemi verpflichtete. Für Drobný blieb nach seiner Genesung kein Platz; er wurde im Januar 2006 an ADO Den Haag ausgeliehen, um Spielpraxis zu sammeln.

Zur Saison 2006/07 kehrte er nach Fulham zurück, allerdings wurde sein Vertrag im August 2006 aufgelöst. Am 27. Oktober 2006 unterschrieb Drobný einen Einmonatsvertrag bei Ipswich Town, kam jedoch nicht zum Einsatz.

Karriere in Deutschland

In der Winterpause wurde Drobný von Ipswich Town zum deutschen Bundesligisten VfL Bochum ausgeliehen. Sein Vertrag lief bis zum Ende der Saison 2006/07. Nach der Saison wechselte er zum Bundesligisten Hertha BSC; er unterschrieb einen Vertrag bis 2010.

Nach der Saison 2009/10 verließ Drobný Hertha BSC und wechselte zum Hamburger SV. Seinen ersten Ligaeinsatz für die Hamburger hatte er am 9. Spieltag, als er gegen den FC Bayern München kurz vor der Halbzeitpause für den am Knie verletzten Stammtorhüter Frank Rost eingewechselt wurde. Das Spiel endete 0:0. Zur Saison 2011/12 wurde er unter dem neuen Trainer Michael Oenning Stammtorhüter des HSV. Obwohl Drobný durch den zu Beginn der Saison 2012/13 verpflichteten Torhüter René Adler seinen Stammplatz verloren hatte, verlängerte er am 30. Mai 2013 seinen Vertrag mit dem HSV bis Mitte 2015. Seit dem dritten Spieltag der Saison 2014/15 war er wieder als Stammtorhüter des HSV im Einsatz. Am 14. Spieltag hielt er den ersten Strafstoß seit seinem Wechsel zum HSV und sicherte so einen Punktgewinn: Sein Landsmann Vladimír Darida verschoss gegen ihn in der zweiten Minute beim Spiel gegen den SC Freiburg (Endstand: 0:0) einen Foulelfmeter.

Im Januar 2015 verlängerte Drobný seinen zum Saisonende auslaufenden Vertrag bis zum 30. Juni 2017 mit einer Anschlussoption im Jugendbereich. Am 25. Spieltag in der Partie gegen die TSG 1899 Hoffenheim erhielt Drobný seinen ersten Platzverweis in der Bundesliga. Nach Antritt von Interimstrainer Peter Knäbel am 27. Spieltag erhielt René Adler nach zwei Partien aufgrund des Platzverweises auch in den weiteren Partien der Saison, einschließlich des knappen Klassenerhalts in der Relegation gegen den Karlsruher SC, wieder den Vorzug. Im Mai 2016 kündigte der HSV an, dass Drobný den Verein nach Ablauf der Saison verlassen werde. Sein letztes Bundesligaspiel für die Hamburger bestritt er am 33. Spieltag bei der 0:1-Heimniederlage gegen den VfL Wolfsburg, da der Stammtorwart Adler verletzungsbedingt ausfiel. Aufgrund Adlers Verletzung hätte Drobný auch am 34. und letzten Spieltag im Tor stehen können; er verzichtete jedoch auf einen Einsatz und erklärte dies mit „fehlender Spannung“ und dem Wunsch, dass sein „Kumpel Tom Mickel“ spielen solle. Zuvor hatte er zudem angegeben, dass die HSV-Verantwortlichen Dietmar Beiersdorfer und Bruno Labbadia wegen der Trennung nach Saisonende „keine Eier“ hätten, was für den Cheftrainer Labbadia einen Verstoß gegen den Mannschaftskodex darstellte.

Zur Saison 2016/17 wechselte Drobný zum „Erzrivalen“ Werder Bremen, bei dem er einen Einjahresvertrag mit Option auf ein weiteres Jahr erhielt. Dort erhielt er, wegen einer sportlichen Krise, unerwarteterweise nach wenigen Spieltagen den Stammplatz von Felix Wiedwald, fiel aber zwischenzeitlich verletzt aus. Er bestritt 10 Saisonspiele (3. bis 6. und 12. bis 17. Spieltag). Im Januar 2017 erhielt er am 17. Spieltag beim Heimspiel gegen Borussia Dortmund (1:2) nach einem Foul gegen Marco Reus die Rote Karte. Er wurde für drei Spiele gesperrt und kam zu keinem weiteren Einsatz. In der Saison 2017/18 war er hinter seinem Landsmann und Nationaltorhüter Jiří Pavlenka die klare Nummer 2.

Nach zehn Spielen in eineinhalb Jahren für Werder Bremen bekam Drobny im Januar 2019 seine Freigabe und wechselte bis Saisonende zum Ligakonkurrenten Fortuna Düsseldorf, für den er einmal im Pokal und zweimal in der Liga zwischen den Pfosten stand.

Karriereausklang in der Heimat

Im Oktober 2019 ging der mittlerweile 40-jährige Torhüter zurück in seine Heimat und schloss sich seinem Jugendverein Dynamo Budweis an. Dort war Drobný sofort die neue Nummer 1 und verdrängte den bisherigen Stammkeeper Jindřich Staněk. Er kam in der Saison 2019/20 auf 18 Ligaeinsätze. In der Saison 2020/21 folgten 23 Einsätze. Anschließend beendete der 41-Jährige seine Karriere.