Verein

Ullmann begann seine Karriere beim FC Pasching. Zur Saison 2010/11 wechselte er in die AKA Linz, in der er bis 2013 sämtliche Altersstufen durchlief. Im Jänner 2014 verließ er die Akademie und kehrte zu seinem Stammklub Pasching zurück. Im April 2014 debütierte er in der Regionalliga, in der er bis zum Ende der Saison 2013/14 zu acht Einsätzen kam. Zur Saison 2014/15 ging Pasching eine Spielgemeinschaft mit dem Zweitligisten LASK ein, woraufhin hin Pasching zur zweiten Mannschaft des LASK wurde.

Ullmann rückte nach der Übernahme in den Kader des Zweitligisten auf. Sein Debüt in der zweiten Liga gab er im Juli 2014, als er am zweiten Spieltag jener Saison gegen den TSV Hartberg in der Startelf stand. In seiner ersten Saison als Profi kam er zu zwölf Zweitligaeinsätzen, zudem kam er zu elf Regionalligaeinsätzen für die Amateure. Im April 2016 erzielte er bei einem 5:0-Sieg gegen den SK Austria Klagenfurt sein erstes Tor in der zweithöchsten Spielklasse. In der Saison 2015/16 absolvierte er 21 Zweitligaspiele und ein Regionalligaspiel. In der Saison 2016/17 wurde er mit dem LASK Zweitligameister und stieg somit in die Bundesliga auf. In der Meistersaison hatte er allerdings einen schweren Stand hinter dem Neuzugang Paulo Otávio und kam zu 16 Einsätzen, davon stand er acht Mal in der Startelf. Zudem kam er zu sechs Einsätzen im Regionalligateam.

Nach dem Aufstieg wechselte Paulo Otávio nach Deutschland, woraufhin sich Ullmann in der Startelf der Oberösterreicher etablieren konnte. Im Juli 2017 debütierte er am ersten Spieltag der Saison 2017/18 gegen den FC Admira Wacker Mödling in der höchsten Spielklasse und erzielte beim 3:0-Sieg gegen die Admira auch prompt sein erstes Bundesligator. In seiner ersten Saison in der Bundesliga absolvierte er 26 Spiele und erzielte dabei fünf Tore, zwischen Dezember 2017 und März 2018 fehlte er aufgrund eines Wadenbeinbruchs. Nach seiner Verletzungspause absolvierte er auch zwei Spiele im Regionalligateam. Mit dem Aufsteiger qualifizierte er sich zu Saisonende als Vierter für den Europacup. In der Qualifikation zur UEFA Europa League besiegte er mit dem LASK in der zweiten Runde den Lillestrøm SK, ehe man in der dritten Runde an Beşiktaş Istanbul scheiterte. Ullmann absolvierte alle vier Qualifikationsspiele. In der Liga war er in jener Spielzeit ebenso gesetzt, er stand in allen 32 Saisonspielen in der Startelf und wurde dabei auch nur zwei Mal ausgewechselt. Mit dem LASK beendete er die Saison als Vizemeister und qualifizierte sich somit für die Qualifikation zur UEFA Champions League.

In dieser war er allerdings nicht mehr dabei, denn Ullmann wechselte zur Saison 2019/20 zum Ligakonkurrenten SK Rapid Wien, bei dem er einen bis Juni 2022 laufenden Vertrag erhielt. Bei den Hütteldorfern war er von Beginn an Stammspieler und kam in seiner Debütsaison zu 31 Bundesligaeinsätzen, in denen er drei Tore erzielte. Mit Rapid wurde er am Ende der Spielzeit Vizemeister und qualifizierte sich wie schon mit dem LASK für die Qualifikation zur Champions League. Auch in der Saison 2020/21 war er unumstritten in der Linksverteidigung der Wiener und stand in jedem der 32 Saisonspiele in der Liga in der Startelf. Mit Rapid wurde er ein zweites Mal Vizemeister. In der Saison 2021/22 hatte er mit U-21-Teamspieler Jonas Auer einen neuen Konkurrenten auf der linken Seite, der als Ullmanns Ersatz aufgebaut wurde. Bis zur Winterpause kam Ullmann zu 14 Ligaeinsätzen.

Nachdem klar war, dass Ullmann seinen Vertrag in Wien nicht verlängern würde, wurde er im Jänner 2022 ein halbes Jahr vor Vertragsende noch mit Ablöse nach Italien an den FC Venedig abgegeben, bei dem er einen bis Juni 2024 laufenden Vertrag erhielt. In Venedig konnte er sich nicht durchsetzen, bis Saisonende kam er fünfmal in der Serie A zum Einsatz. Mit dem Klub stieg er zu Saisonende in die Serie B ab. Auch in der zweiten Liga spielte der Außenverteidiger keine große Rolle und nach einem Halbjahr mit erneut fünf Einsätzen wurde er im Jänner 2023 nach Deutschland an den Zweitligisten 1. FC Magdeburg verliehen.

Nationalmannschaft

Ullmann spielte im April 2014 erstmals für die österreichische U-18-Auswahl. Im September 2014 kam er gegen die Schweiz zu seinem ersten Einsatz für die U-19-Mannschaft. Im September 2017 debütierte er in einem Testspiel gegen Finnland für die U-21-Auswahl. Mit Österreichs U-21 qualifizierte er sich 2019 erstmals in der Geschichte des Landes für die EM. Bei dieser schieden die Österreicher als Dritter der Gruppe B in der Vorrunde aus, Ullmann kam in zwei der drei Spiele Österreichs zum Einsatz. Zwischen September 2017 und Juni 2019 kam er insgesamt zu 17 Einsätzen für die U-21.

Im November 2019 wurde er erstmals in den Kader der A-Nationalmannschaft berufen. Sein Debüt im Nationalteam gab er rund zweieinhalb Jahre später im März 2022 in einem Testspiel gegen Schottland.