CUDA (früher auch Compute Unified Device Architecture genannt) ist eine von Nvidia entwickelte Programmierschnittstelle (API), mit der Programmteile durch den Grafikprozessor (GPU) abgearbeitet werden können. In Form der GPU wird zusätzliche Rechenkapazität bereitgestellt, wobei die GPU im Allgemeinen bei hochgradig parallelisierbaren Programmabläufen (hohe Datenparallelität) signifikant schneller arbeitet als die CPU. CUDA wird vor allem bei wissenschaftlichen und technischen Berechnungen eingesetzt.

Technische Details

Der nur für Grafikberechnungen genutzte Grafikprozessor kommt mittels der CUDA-API auch als Koprozessor zum Einsatz. Anwendungsbeispiele sind die Lösung seismologischer oder geologischer Probleme, die Simulation elektromagnetischer Felder oder auch das Training von Neuronalen Netzen im Bereich des Maschinellen Lernens. Anwendung findet CUDA unter anderem bei dem Projekt SETI@home im Rahmen der Berkeley Open Infrastructure for Network Computing (BOINC). Allgemein lässt es sich nur dort effizient anwenden, wo (neben anderen Bedingungen) Berechnungen stark parallelisiert werden können.

Eingesetzt werden kann die CUDA-Technologie mit einer Grafikkarte ab der „GeForce 8“-Serie und auf den Quadro-Karten ab der Quadro FX 5600. Die Tesla-Karten von Nvidia wurden zum Einsatz für Hochleistungsrechnen optimiert und werden überwiegend mit CUDA angesprochen, unterstützen aber auch offene Standards wie OpenCL. Einigen fehlen sogar die Anschlüsse für Monitore.

Seit dem Zukauf der PhysX-Technologie von Ageia entwickelt Nvidia diese Technologie weiter und hat sie auf CUDA umgeschrieben.

Im März 2015 wurde von Nvidia die CUDA-Version 7.0 veröffentlicht.

Im September 2015 wurde von Nvidia die CUDA-Version 7.5 veröffentlicht.

Seit September 2016 ist die CUDA-Version 8.0 verfügbar, welche die neue Pascal-Serie voll unterstützt.

Seit September 2017 ist die CUDA-Version 9.0 mit Update auf 9.1 ab Dezember sowie Update 9.2 ab März, verfügbar, welche die neue Volta-Serie voll unterstützt. FERMI wird nicht mehr unterstützt.

Seit Herbst 2018 unterstützt CUDA 10 die Turing-Architektur.

CUDA 11 unterstützt voll die aktuelle Ampere-Architektur. Mit minimaler Compute capability 3.5 wird nur noch ein Teil der Kepler-Karten unterstützt.

Programmieren

Programmierer verwenden zurzeit C for CUDA (C mit Nvidia-Erweiterungen). Es existieren auch Wrapper für die Programmiersprachen Perl, Python, Ruby, Java, Fortran und .NET, sowie Anbindungen an MATLAB, Mathematica und R. Nvidia erstellte CUDA mit dem optimierenden C-Compiler Open64. Seit der Fermi-Architektur kann auch C++ verwendet werden.

Als CUVID (CUDA Video Decoding API) bezeichnet man eine Programmierschnittstelle für das Decodieren von Videos.

Alternativen

Beispiele für andere GPGPU-Lösungen:

• OpenCL ist ein von der Khronos Group initiierter offener Standard, der für alle Grafikkarten funktioniert und für die meisten Betriebssysteme verfügbar ist.
• Der ebenfalls von der Khronos Group entwickelte offene Vulkan-Standard unterstützt ebenfalls OpenCL ähnliche Compute-Shader.
• DirectCompute: eine in die DirectX-API integrierte Schnittstelle für GPGPUs von Microsoft

Software

Eines der ersten Programme, die CUDA unterstützen, ist der Client von folding@home, der die Geschwindigkeit biochemischer Berechnungen vervielfacht. Am 17. Dezember 2008 folgte der Client von SETI@home, der die Suche nach außerirdischem Leben um den Faktor 10 beschleunigt. Nvidia brachte die Software „Badaboom“ heraus, ein Videokonverter, der bis zu 20-mal schneller Videos konvertieren kann, als durch eine Berechnung mit der CPU. Andere Programme, welche CUDA verwenden, sind „TMPGEnc“, Sorenson Squeeze 7, Adobe Photoshop ab CS4 (hierbei wird der Einsatz von Filtern beschleunigt), Adobe Premiere Pro ab CS5.5 und Mathematica 8+ sowie die Nvidia-Software StyleGAN.

Simulationssoftware wie MSC/Nastran 2013+ wird mit CUDA zum Teil sehr stark beschleunigt; bei großen Modellen kann ein zu kleiner GPU-Speicher hinderlich sein. Weitere führende CFD- und FEM-Software wie OpenFoam und ANSYS nutzt CUDA zur Beschleunigung von Berechnungen. Dabei sinkt mitunter der Stromverbrauch der Berechnungen aufgrund der höheren Effizienz der GPU gegenüber der CPU bei diesen speziellen Rechenoperationen.

Kritik, Nachteile

Grafikprozessoren (GPUs) sind Prozessoren mit einem anwendungsspezifischen Design, daher kennen GPUs eher exotische Datentypen wie 9 Bit oder 12 Bit mit Festkommastelle, verzichten hingegen aber häufig auf die für Allzweck-CPUs und FPUs üblichen Registerbreiten von 32, 48, 64 oder 80 Bit (usw.). Somit sind Berechnungen, beispielsweise mit den Genauigkeiten nach IEEE 754 (64 Bit für double precision), häufig nicht im Befehlssatz der GPU vorgesehen und müssen relativ aufwändig per Software emuliert werden. Daher eignen sich GPUs vor allem zur Berechnung von Datentypen, die mit vergleichsweise geringen Bit-Breiten arbeiten.

Stand 2010 fertigen erste Hersteller bereits erweiterte GPUs, die neben den von der GPU benötigten Datentypen auch universelle Datentypen und Operationen z. B. zur direkten Berechnung IEEE 754 konformer Ergebnisse beinhalten. Als einer der aktuell führenden Hersteller stellt Nvidia mit der Fermi-Generation GPUs bereit, die sowohl 32-Bit-Integer, als auch einfach- und doppelt-genaue Gleitkomma-Datenformate nativ bereitstellen (float/double).

Ein anderer Nachteil ist die Anbindung an die Rechnerarchitektur, sie erfolgt bei aktuellen GPUs meist über PCIe und bringt, im Vergleich zur direkten Anbindung von Prozessoren, schlechtere (höhere) Latenzzeiten und geringere I/O-Durchsatzraten mit sich. Daher lohnt die Auslagerung nur bei Funktionen mit einigem Rechenaufwand – besonders dann, wenn eine GPU für diese Aufgaben vom Befehlssatz her (z. B. für große Matrizen) besser geeignet ist.

Weiter wird die feste Bindung an einen Hersteller kritisiert. Nutzt man CUDA, im Unterschied zu Bibliotheken für CPUs mit MMX- oder SSE-Erweiterungen (die praktisch auf allen CPUs der verschiedenen Hersteller von x86-Prozessoren laufen), so bindet man ein Programm an den GPU-Hersteller Nvidia und somit an das Vorhandensein von Nvidia-Hardware. Das inzwischen auf Vulkan/SPIR-V abgestützte OpenCL ist universeller und bietet eine Implementierung für GPUs von Nvidia, AMD (vormals ATI), VIA, S3 und Anderen. Dazu ist eine CPU-Unterstützung für x86-Prozessoren über die SSE3-Erweiterungen implementiert, weiter bietet IBM eine OpenCL-Implementierung für die Power-Architektur und die Cell Broadband Engine an. Aus dem breiteren Ansatz von OpenCL ergibt sich im Vergleich mit CUDA auf identischer Nvidia-Hardware allerdings ein merklicher Performance-Nachteil. Bei der Verwendung von OpenCL sind je nach Problemstellung Einbußen von etwa 5 bis 50 Prozent zu beobachten.

Unterstützte GPUs

Stufen der unterstützten CUDA Versionen von GPU und Karte.

Die Tesla Mikro-Architektur (Compute Capability 1.x) wird mit der CUDA-SDK Version 6.5 zum letzten Mal unterstützt.
Die Fermi Mikro-Architektur (Compute Capability 2.x) wird mit der CUDA-SDK Version 8.0 zum letzten Mal unterstützt.
Teile der Kepler Mikro-Architektur (Compute Capability 3.0) werden mit der CUDA-SDK Version 10.2 zum letzten Mal unterstützt.

Literatur

• Jason Sanders, Edward Kandrot: CUDA by example. An Introduction to General Purpose GPU Programming. Addison-Wesley, ISBN 978-0-13-138768-3.

Weblinks

• Nvidia CUDA (englisch) – Offizielle Webseite
• Nvidia Cuda: Das Ende der CPU? – Artikel bei Tom's Hardware, 18. Juni 2008
• GPU4Vision (englisch) – Wissenschaftliche Publikationen und mehr bei der TU Graz
• Leitfaden für Rezensenten (PDF; 1,5 MB) – Deutsche Übersetzung mit Ergänzungen des Artikels "Nvidia Quadro FX Reviewers Guide for Adobe CS5 (incl. Premiere Pro CS5)" von Eugen Siwon, Vasquez Systemlösungen, Berlin
• Eine Auflistung von CUDA-unterstützter Video-Software – Artikel auf der Homepage des Videoschnitt-PC VIDEOSTATION
• Python: PyCUDA
• Java: JCuda
• .NET: cuda.NET
• Fortran: pgroup

Einzelnachweise

1. ↑ CUDA 12.2 Release Notes. (abgerufen am 2. Juli 2023).
2. 1 2 3 4 CUDA Toolkit Archive. Abgerufen am 2. August 2018 (englisch). 
3. ↑ heise online: CUDA 10 unterstützt Nvidias Turing-GPUs. Abgerufen am 2. April 2019. 
4. ↑ https://www.heise.de/news/Nvidia-gibt-die-finale-Version-von-CUDA-11-frei-4839171.html
5. ↑ Mike Murphy: Nvidia’s Experience with Open64. (MS Word; 83 kB) Abgerufen am 6. August 2009. 
6. ↑ LAV CUVID (Memento des Originals vom 6. Oktober 2014 im Internet Archive)  Info: Der Archivlink wurde automatisch eingesetzt und noch nicht geprüft. Bitte prüfe Original- und Archivlink gemäß Anleitung und entferne dann diesen Hinweis.@1@2Vorlage:Webachiv/IABot/1f0.de
7. ↑ http://pages.mscsoftware.com/rs/mscsoftware/images/Paper_GPU%20Computing%20with%20MSC%20Nastran%202013.pdf
8. ↑ http://on-demand.gputechconf.com/gtc/2014/jp/sessions/9002.pdf
9. ↑ Fermi Compute Architecture Whitepaper, Nvidia über Fermi (PDF; 876 kB) abgerufen am 21. September 2010
10. ↑ Nvidia zu OpenCL (28. September 2009)
11. ↑ AMD zu ATI Stream und OpenCL (Memento des Originals vom 9. August 2009 im Internet Archive)  Info: Der Archivlink wurde automatisch eingesetzt und noch nicht geprüft. Bitte prüfe Original- und Archivlink gemäß Anleitung und entferne dann diesen Hinweis.@1@2Vorlage:Webachiv/IABot/developer.amd.com (1. Oktober 2009)
12. ↑ VIA Brings Enhanced VN1000 Graphics Processor (Memento des Originals vom 15. Dezember 2009 im Internet Archive)  Info: Der Archivlink wurde automatisch eingesetzt und noch nicht geprüft. Bitte prüfe Original- und Archivlink gemäß Anleitung und entferne dann diesen Hinweis.@1@2Vorlage:Webachiv/IABot/www.via.com.tw (10 Dezember 2009)
13. ↑ S3 Graphics launched the Chrome 5400E embedded graphics processor (27. Oktober 2009)
14. ↑ OpenCL Development Kit for Linux on Power (30. Oktober 2009)
15. ↑ A Performance Comparison of CUDA and OpenCL (12. August 2010; PDF; 62 kB)
16. ↑ OpenCL GPGPU Performance OpenCL vs. CUDA/STREAM (1. November 2009)
17. ↑ CUDA GPUs. 4. Juni 2012, abgerufen am 15. November 2019 (englisch). 
18. ↑ CUDA Toolkit Archive. 30. Juli 2013, abgerufen am 2. April 2019 (englisch). 
19. ↑ Hassan Mujtaba: NVIDIA Pascal and Volta GPUs Now Supported By Latest GeForce 358.66 Drivers - Also Adds Preliminary Support For Vulkan API. In: Wccftech. 4. November 2015, abgerufen am 2. April 2019 (amerikanisches Englisch). 
20. ↑ NVIDIA GV10B GPU Specs. Abgerufen am 2. April 2019 (englisch). 
21. ↑ CUDA Toolkit Archive. In: NVIDIA Developer. Abgerufen im 1. Januar 1 
22. ↑ https://github.com/tensorflow/tensorflow/issues/44750
23. ↑ https://docs.nvidia.com/cuda/ampere-tuning-guide/index.html Documentation for CUDA Toolkit version 11.2.0
24. ↑ CUDA compute capability requirements. Abgerufen am 2. April 2019.