Transformers-Bibliothek

Die Transformers-Bibliothek ist ein Python-Paket, das Open-Source-Implementierungen von Transformer-Modellen für Text-, Bild- und Audiodaten enthält. Sie ist kompatibel mit den Deep-Learning-Bibliotheken PyTorch, TensorFlow und JAX und beinhaltet Implementierungen von bedeutenden Modellen wie BERT und GPT-2. Die Bibliothek hieß ursprünglich „pytorch-pretrained-bert“, wurde dann in „pytorch-transformers“ umbenannt und schließlich in „transformers“.

Hugging Face Hub

Der Hugging Face Hub ist eine Plattform (zentraler Webdienst) für das Hosting von:

• Git-basierten Code-Repositories, mit Funktionen ähnlich wie bei GitHub, einschließlich Diskussionen und Pull-Requests für Projekte.
• Modellen, ebenfalls mit Git-basierter Versionskontrolle;
• Datensätzen, hauptsächlich in Text, Bildern und Audio;
• Webanwendungen („Spaces“ und „Widgets“), die für kleine Demos von Maschinenlernanwendungen gedacht sind.

Andere Bibliotheken

Neben Transformers und dem Hugging Face Hub enthält das Hugging Face-Ökosystem Bibliotheken für andere Aufgaben, wie die Verarbeitung von Datensätzen („Datasets“), die Bewertung von Modellen („Evaluate“), Simulation („Simulate“), Demos für maschinelles Lernen („Gradio“).