Selbstüberwachtes Lernen

Selbstüberwachtes Lernen ist ein Teilgebiet des maschinellen Lernens, das eine Zwischenform von überwachtem und unüberwachtem Lernen darstellt. Es handelt sich um eine Art autonomes Lernen mit Hilfe künstlicher neuronaler Netze, bei dem keine durch Menschen im Voraus klassifizierten Beispieldaten benötigt werden. Zunächst wird das Netzwerk mit einer Voraufgabe (pretext task) konfrontiert, die vergleichsweise einfach zu lösen und auszuwerten sind, aber ein hohes Maß an semantischem Verständnis der Daten erfordert, welches wiederum für die Lösung einer anderen, nachgelagerten Aufgabe (downstream task) nützlich ist. Während der erste Schritt meist auf durch Transformationen der Ursprungsdaten generierten Pseudo-Labeln basiert, kann die eigentliche Klassifikation mit überwachtem oder unüberwachtem Lernen durchgeführt werden. Die Idee hinter der Voraufgabe ist, dass das Lösen dieser vergleichsweise einfachen Fragestellung die Gewichte des neuronalen Netzes so initialisiert, dass das Modell auch für andere Anwendungen nützlich sein kann. Selbstüberwachtes Lernen hat in den letzten Jahren vielversprechende Ergebnisse hervorgebracht und bereits praktische Anwendung in der Bild-, Video- und Audioverarbeitung gefunden und wird unter anderem von Facebook zur automatischen Spracherkennung genutzt.

1. ↑ Chris Abshire: Self-Supervised Learning: A Key to Unlocking Self-Driving Cars? 6. April 2018, abgerufen am 3. November 2020 (englisch). 
2. ↑ Carl Doersch, Andrew Zisserman: Multi-Task Self-Supervised Visual Learning. 2017, S. 2051–2060 (thecvf.com [abgerufen am 3. November 2020]). 
3. ↑ Xiaohua Zhai, Avital Oliver, Alexander Kolesnikov, Lucas Beyer: S4L: Self-Supervised Semi-Supervised Learning. 2019, S. 1476–1485 (thecvf.com [abgerufen am 3. November 2020]). 
4. ↑ Carl Doersch, Abhinav Gupta, Alexei A. Efros: Unsupervised Visual Representation Learning by Context Prediction. 2015, S. 1422–1430 (cv-foundation.org [abgerufen am 3. November 2020]). 
5. ↑ Xin Zheng, Yong Wang, Guoyou Wang, Jianguo Liu: Fast and robust segmentation of white blood cell images by self-supervised learning. In: Micron. Band 107, 1. April 2018, ISSN 0968-4328, S. 55–71, doi:10.1016/j.micron.2018.01.010 (sciencedirect.com [abgerufen am 3. November 2020]). 
6. ↑ Spyros Gidaris, Andrei Bursuc, Nikos Komodakis, Patrick Perez, Matthieu Cord: Boosting Few-Shot Visual Learning With Self-Supervision. 2019, S. 8059–8068 (thecvf.com [abgerufen am 3. November 2020]). 
7. ↑ Mehdi Noroozi, Paolo Favaro: Unsupervised Learning of Visual Representations by Solving Jigsaw Puzzles. In: Computer Vision – ECCV 2016. Band 9910. Springer International Publishing, Cham 2016, ISBN 978-3-319-46465-7, S. 69–84, doi:10.1007/978-3-319-46466-4_5. 
8. ↑ Wav2vec: State-of-the-art speech recognition through self-supervision. Abgerufen am 3. November 2020.