Die isotonische Regression ist ein Regressionsverfahren, mit dem eine isotone (ordnungserhaltende) Abbildung zwischen einer abhängigen und einer unabhängigen Variable gefunden wird. Werden monotone Abbildungen, also isotone sowie antitone Abbildungen, betrachtet, bezeichnet man das Verfahren als monotone Regression. Die von der Abbildung beschriebene Kurve hat anders als beispielsweise die lineare Regression keine feste Form, sondern nur die Beschränkung, monoton steigend (oder fallend) zu sein, während die Entfernung zu den Datenpunkten so gering wie möglich ist.

Anwendung

Wird zwischen einem Parameter und Messwerten eines Experiments eine monotone Beziehung erwartet, kann diese durch monotone Regression bestimmt werden, auch wenn die Messwerte durch Rauschen verfälscht sind. Eine Modellannahme wie Linearität muss dabei nicht getätigt werden.

Im Bereich des maschinellen Lernens finden sich oft Modelle, die eine Wahrscheinlichkeit für eine Klassifikation von Datenpunkten ausgeben. Je nach Modellart können die vorhergesagten Wahrscheinlichkeiten im Vergleich zur Häufigkeit der Klassen in den Daten verzerrt sein. Zur Korrektur können die Vorhersagen kalibriert werden. Eine dafür geeignete Methode basiert auf isotonischer Regression.

Algorithmus

Bei der isotonischen Regression erfolgt eine Anpassung von Werten ${\displaystyle x\in \mathbb {R} ^{n}}$ an Beobachtungen ${\displaystyle a\in \mathbb {R} ^{n}}$ mit zugehörigen Gewichten ${\displaystyle w\in \mathbb {R} ^{n}}$ mithilfe der Methode der kleinsten Quadrate, wobei Nebenbedingungen der Form ${\displaystyle x_{i}\leq x_{j}}$ (meist ${\displaystyle x_{i}\leq x_{i+1}}$) eingehalten werden müssen. Das heißt, jeder Punkt muss einen mindestens so hohen Wert wie der vorherige Punkt haben.

Die Bedingungen beschreiben eine partielle oder totale Ordnung, die als gerichteter Graph ${\displaystyle G=(N,E)}$ definiert werden kann, wobei ${\displaystyle N}$ die Menge der Beobachtungen und ${\displaystyle E}$ die Menge der Paare ${\displaystyle (i,j)}$ bezeichnet, für die ${\displaystyle x_{i}\leq x_{j}}$ gilt. Damit kann die isotonische Regression als folgendes quadratisches Programm formuliert werden:

${\displaystyle \min _{x}\sum _{i=1}^{n}w_{i}(x_{i}-a_{i})^{2}}$ ${\displaystyle {\text{unter den Nebenbedingungen }}x_{i}\leq x_{j}{\text{ für alle }}(i,j)\in E.}$

Wenn ${\displaystyle G=(N,E)}$ eine totale Ordnung ist, kann das Problem in ${\displaystyle O(n)}$ gelöst werden.

Einzelnachweise

1. ↑ Probability calibration. In: scikit-learn documentation. Abgerufen am 21. November 2019 (englisch). 
2. ↑ Michael J. Best, Nilotpal Chakravarti: Active set algorithms for isotonic regression; A unifying framework. In: Mathematical Programming. Band 47, Nr. 1–3, 1990, S. 425–439, doi:10.1007/BF01580873.