Bayes’sche Optimierung

Die Bayes’sche Optimierung (BO, engl. Bayesian Optimization) ist eine sequenzielle Optimierungsmethode für die Optimierung von Black-Box-Funktionen, deren Auswertung teuer ist, d. h. in der Regel Minuten oder Stunden dauert. Dies tritt beispielsweise auf, wenn die zu optimierende Funktion nicht geschlossen darstellbar ist, sondern etwa das Ergebnis einer Simulation ausgibt, die Ergebnisse des Trainings eines Machine-Learning-Modells darstellt (s. Hyperparameteroptimierung) oder das Ergebnis eines experimentellen Versuchs zurückgibt (s. Design of Experiment).

Die Grundidee der Bayes’schen Optimierung besteht aus dem Prinzip Exploitation and Exploration. Dies bedeutet, dass beim Vorschlagen neuer Punkte ein Trade-off zwischen bereits bekannten guten Punkten (exploitation) und neuen hoffentlich noch besseren Punkten (exploration) gefunden wird, welcher durch die gewählte Akquisitionsfunktion (acquisition function) beeinflusst wird. Sucht man in der Bayes’schen Optimierung einen Trade-off für die Maximierung eines Erwartungswertes und die Minimierung der Streuung, kann dies als Mehrzieloptimierung betrachtet werden.

1. ↑ Peter I. Frazier: A Tutorial on Bayesian Optimization. arxiv:1807.02811. 
2. ↑ Bobak Shahriari, Kevin Swersky, Ziyu Wang, Ryan P. Adams, Nando de Freitas: Taking the Human Out of the Loop: A Review of Bayesian Optimization. In: Proceedings of the IEEE. Band 104, Nr. 1, Januar 2016, S. 148–175, doi:10.1109/jproc.2015.2494218 (ox.ac.uk [PDF; abgerufen am 22. Januar 2024]).