Ilya Sutskever (* 1984 in Gorki, Sowjetunion) ist ein kanadischer Informatiker und Firmenmitgründer von OpenAI.
Werdegang
Sutskevers Eltern wanderten mit ihm nach Israel aus, als er fünf Jahre alt war. Dort besuchte er die Schule und absolvierte von 2000 bis 2002 Fernstudiengänge der Open University of Israel. Nach der Übersiedelung der Familie nach Kanada studierte er Mathematik an der University of Toronto mit dem Abschluss als Bachelor im Jahr 2005. Anschließend studierte er Informatik und wurde 2012 bei Geoffrey Hinton mit der Dissertation Training Recurrent Neural Networkszum Ph.D. promoviert. Es folgten zwei Monate als Postdoc an der Stanford University bei Andrew Ng. Dann kehrte er an die University of Toronto zurück und trat der Firma DNNResearch bei. Die Firma wurde kurz danach von Google übernommen und Sutskever arbeitete daraufhin für die Abteilung Google Brain. Ende 2015 verließ er Google und wurde Mitgründer der Firma OpenAI.
2015 wurde er in der MIT Technology Review als einer der 35 Visionäre unter Alter 35 genannt. 2018 wirkte er als Vortragender an der Nvidia-Ntech- und der AI-Frontiers-Conference Ilya Sutskever weist 2023 einen h-Index von 81 auf. Seine Arbeiten wurden über 400'000 Mal zitiert.
Wirken
Seine Arbeiten erfolgen im Bereich der künstlichen Intelligenz in den Bereichen Maschinelles Lernen, künstliche neuronale Netze, Deep Learning, Backpropagation, Generativer vortrainierter Transformer, Bestärkendes Lernen und KI-Ausrichtung.
An der University of Toronto war er zusammen mit seinem Doktorvater Geoffrey Hinton an der Entwicklung des neuralen Netzes AlexNet beteiligt, welches einen ImageNet-Wettbewerb mit der niedrigsten Fehlerrate bei Objekterkennungen in hochauflösenden Bildern gewann. Das dafür verwendete faltende neuronale Netz war optimal in mehreren Schichten strukturiert, um die damals besten Ergebnisse bei Objekterkennungen zu erzielen. AlexNet wird als Durchbruch zur späteren Weiterentwicklung von Deep Learning betrachtet.
Bekannt wurde Sutskever durch Arbeiten bei Google, wobei ein neues neuronales Netzmodell zur Erzeugung von natürlich empfundenen Textformulierungen und für Textübersetzungen geschaffen wurde. Die verwendete Technik trägt die Bezeichnung Sequence-to-Sequence Learning with Attention. Als Teil dieser Methode werden mehrschichtige Long short-term memory (LSTM) verwendet. Diese Lösung ergab gegenüber anderen Techniken deutlich verbesserte Resultate. Er war auch beteiligt an der öffentlich zugänglichen Sammlung von Modellen und Software für maschinelles Lernen TensorFlow und dem von der Firma DeepMind entwickelten GO-Computer AlphaGo.
Seit der Mitgründung des Unternehmens OpenAI in 2015 ist Sutskever dessen Chief Scientist. Unter seiner Oberleitung haben Teams von OpenAI eine Reihe von erfolgreichen Produkten entwickelt, so OpenAI Gym, OpenAI Five, GPT-2, -3, -4 (Generative Pretrained Transformers), DALL-E, Clip, Whisper und ChatGPT, welcher 2023 multimodal weiterentwickelt wird. Im Gespräch zwischen Sutskever und Jensen Huang, dem Vorstandsvorsitzenden von Nvidia, nannte dieser sich beeindruckt von der Leistungsfähigkeit von GPT-4 und dessen menschlicher Ausdrucksweise sehr ähnlicher Resultate. Sutskever wird auch als Entwickler mit unternehmerischem Denken anerkannt.
Im Juli 2023 kündigte OpenAI an, dass Sutskever zusammen mit Jan Leike das langfristige Projekt Superalignment anführen werden. Beim Alignment (KI-Ausrichtung) wird versucht, irreführende, falsche oder schädliche KI-Resultate und Missbrauch durch menschliche Intervention zu unterbinden. Bei ChatGPT wurde bereits umfassend Reinforcement learning from human feedback eingesetzt. TIME Magazine beschrieb Sutskever als one of the industry’s most celebrated technical minds.
Sutskever ist Mitglied des Aufsichtsrats der Firma OpenAI Nonprofit zusammen mit Greg Brockman (Vorsitzender) und Sam Altman (CEO).
Auszeichnungen
- 2022: Ernennung zum Fellow of the Royal Society (FRS)
Veröffentlichungen (Auswahl)
- mit Alex Krizhevsky, Geoffrey E. Hinton: Imagenet classification with deep convolutional neural networks. In: Advances in neural information processing systems 25, 2012, S. 1097–1105 (Eine der ersten Veröffentlichungen als Mitautor.)
Weblinks
- Publikationen von Ilya Sutskever bei Google Scholar
- Ilya Sutskever: Deep Learning | Lex Fridman Podcast #94. Interview with Ilya Sutskever. Abgerufen am 6. Oktober 2023 (englisch)
Einzelnachweise
- 1 2 The Visionary Work of Ilya Sutskever: Shaping the Future of AI at OpenAI. In: DotCom Magazine. Abgerufen am 6. Oktober 2023.
- ↑ Neural networking. The Varsity. 25. Oktober 2010. Abgerufen am 5. Oktober 2023 (englisch)
- ↑ Training Recurrent Neural Networks. utoronto.ca, 13. August 2013. Abgerufen am 5. Oktober 2023 (englisch)
- ↑ Alec Scott: Heard it Through the AI. University of Toronto Magazine, 28. September 2022. Abgerufen am 5. Oktober 2023 (englisch)
- ↑ Tom Simonite: Ilya Sutskever. Visionaries (2015), MIT Technology Review, 18. August 2015. Abgerufen am 5. Oktober 2023 (englisch)
- 1 2 The man who revolutionized computer vision, machine translation, games and robotics. AI Frontiers, 29. August 2018. Abgerufen am 6. Oktober 2023 (englisch)
- ↑ Veröffentlichungen (Google Scholar) . Abgerufen am 5. Oktober 2023 (englisch)
- ↑ Alex Krizhevsky, Ilya Sutskever, Geoffrey E. Hinton: ImageNet classification with deep convolutional neural networks. In: Advances in neural information processing systems, Vol. 25, 2012. Abgerufen am 7. Oktober 2023.
- ↑ Martin V. Butz: "Towards Strong AI". In: KI - Künstliche Intelligenz. 35 (1), 26. Februar 2021, S. 91–101. Abgerufen am 6. Oktober 2023.
- ↑ Ilya Sutskever, Oriol Vinyals und Quoc V. Le: Sequence to sequence learning with neural networks. Cornell University, 14. Dezember 2014. Abgerufen am 8. Oktober 2023.
- ↑ David Silver, Ilya Sutskever, et al.: Mastering the game of Go with deep neural networks and tree search. In: Nature, 27. Januar 2016. Abgerufen am 8. Oktober 2023.
- ↑ Cade Metz: A. I. Researchers Are Making More Than $1 Million, Even at a Nonprofit. In: New York Times, 19. April 2016. Abgerufen am 8. Oktober 2023.
- ↑ Josh Achiam: Research at OpenAI. openai.com. Abgerufen am 8. Oktober 2023
- 1 2 Ilya Sutskever. The Royal Society, 2022. Abgerufen am 5. Oktober 2023 (englisch)
- ↑ Ben Wodecki: OpenAI’s Chief Scientist on the Long Road to Success. AI Business, 22. März 2023. Abgerufen am 9. Oktober 2023.
- ↑ Ilya Sutskever, OpenAI @ Entrepreneurial Thought Leader Speaker Series. Stanford University, 19. April 2023. Abgerufen am 9. Oktober 2023.
- ↑ Introducing Superalignment. OpenAI, 5. Juli 2023. Abgerufen am 5. Oktober 2023 (englisch)
- ↑ Craig S. Smith: AI Hallucinations Could Blunt ChatGPT’s Success. IEEE Spectrum, 13. März 2023. Abgerufen am 5. Oktober 2023 (englisch)
- ↑ Craig S. Smith: ChatGPT-4 Creator Ilya Sutskever on AI Hallucinations and AI Democracy. Interview with Sutskever. In: Forbes, 15. März 2023. Abgerufen am 14. Oktober 2023.
- ↑ Billy Perrigo: Ilya Sutskever: Co-Founder and Chief Scientist, OpenAI. TIME, 11. September 2023. Abgerufen am 9. Oktober 2023.
- ↑ Structure. OpenAI, 28. Juni 2023. Abgerufen am 6. Oktober 2023.