Ableitung

Die Idee des Nadaraya-Watson-Schätzers beruht darauf, dass die unbekannte Regressionsfunktion

${\displaystyle Y=m(X)}$

mit Hilfe des bedingten Erwartungswertes durch die gemeinsame Dichte ${\displaystyle f(x,y)}$ und die Randdichte ${\displaystyle f_{X}(x)}$ dargestellt wird.

${\displaystyle m(x)=\operatorname {E} (Y\mid X=x)=\int y{\frac {f(x,y)}{f_{X}(x)}}\,\mathrm {d} y={\frac {\int yf(x,y)\,\mathrm {d} y}{f_{X}(x)}}}$

Die unbekannten Dichten ${\displaystyle f(x,y)}$ und ${\displaystyle f_{X}(x)}$ werden mit Hilfe einer Kerndichteschätzung geschätzt. Zur Berechnung der gemeinsamen Dichte aus den Beobachtungen wird ein bivariater Kerndichteschätzer mit Produktkern ${\displaystyle K(x,y)=K(x)K(y)}$ und Bandweiten ${\displaystyle g}$ und ${\displaystyle h}$ genutzt:

${\displaystyle {\widehat {f_{g,h}}}(x,y)={\frac {1}{n}}\sum _{i=1}^{n}K_{h}(x-x_{i})K_{g}(y-y_{i})}$.

Es folgt

${\displaystyle \int yK_{h}\left(x-x_{i}\right)\,\mathrm {d} y={\frac {1}{n}}\sum _{i=1}^{n}y_{i}K_{h}(x-x_{i})}$

und mittels Kerndichteschätzung für ${\displaystyle f_{X}(x)}$ der Nadaraya-Watson-Schätzer.

Eigenschaften

1. Wie im Fall der linearen Regression kann der Nadaraya-Watson-Schätzer auch als Linearkombination der ${\displaystyle y_{i}}$ mit Gewichtsfunktionen ${\displaystyle W_{hi}}$ geschrieben werden:

${\displaystyle {\hat {m}}(x)=\sum _{i=1}^{n}y_{i}W_{hi}(x)}$.

Damit ist der Nadaraya-Watson-Schätzer das (lokal) gewichtete Mittel der Beobachtungswerte ${\displaystyle y_{i}}$, es gilt

${\displaystyle \sum _{i=1}^{n}W_{hi}(x)=1}$.

Die Grafik rechts zeigt die Gewichte für verschiedene Werte von ${\displaystyle x}$ (blau: ${\displaystyle x=10}$, grün: ${\displaystyle x=20}$, rot: ${\displaystyle x=30}$). Das Punktdiagramm unterhalb von Null zeigt die Daten der erklärenden Variable. Je größer die Bandweite ist (durchgezogene Linie vs. gestrichelte Linie), desto mehr Beobachtungen um ${\displaystyle x}$ haben ein Gewicht ungleich null. Je weniger Daten zu Verfügung stehen (rechts), desto stärker müssen die verfügbaren Beobachtungen gewichtet werden.

2. Die mittlere quadratische Abweichung ergibt sich approximativ als

${\displaystyle \operatorname {MSE} ({\hat {m}}(x))\approx \underbrace {h^{4}B^{2}} _{={\text{Verzerrung}}^{2}}+\underbrace {{\frac {1}{nh}}V} _{={\text{Varianz}}}}$

mit ${\displaystyle B}$ und ${\displaystyle V}$ unabhängig von ${\displaystyle n}$ und ${\displaystyle h}$. Damit ist die Konvergenz langsamer als bei der linearen Regression, d. h. mit der gleichen Zahl von Beobachtungen kann der Vorhersagewert in der linearen Regression präziser geschätzt werden als beim Nadaraya-Watson-Schätzer.

Dabei ist die quadrierte Verzerrung (englisch bias) des Nadaraya-Watson-Schätzers

${\displaystyle \operatorname {Bias} ^{2}({\hat {m}}(x))={\frac {h^{4}}{4}}{\left(m''(x)+2{\frac {m'(x)f'_{X}(x)}{f_{X}(x)}}\right)}^{2}\mu _{2}^{2}(K)}$

mit ${\displaystyle m'(x)}$ und ${\displaystyle m''(x)}$ die erste bzw. zweite Ableitung der unbekannten Regressionsfunktion, ${\displaystyle f'_{X}(x)}$ die erste Ableitung der Dichte ${\displaystyle f_{X}(x)}$ und ${\displaystyle \mu _{2}(K)=\int u^{2}K(u)\mathrm {d} \,u}$.

Und die Varianz des Schätzers

${\displaystyle \operatorname {Var} ({\hat {m}}(x))={\frac {1}{nh}}{\frac {\sigma ^{2}(x)}{f_{X}(x)}}|K|_{2}^{2}}$

mit ${\displaystyle \sigma ^{2}(x)=\operatorname {Var} (Y\mid X=x)}$ und ${\displaystyle |K|_{2}={\sqrt {\int K^{2}(u)\,\mathrm {d} u)}}}$.

Bandweitenwahl

Das Hauptproblem bei der Kernregression ist die Wahl einer geeigneten Bandweite ${\displaystyle h}$. Als Basis dient die Minimierung der mittleren quadratische Abweichung

${\displaystyle \operatorname {MSE} ({\hat {m}}(x))=\operatorname {E} \left(({\hat {m}}(x)-m(x))^{2}\right)}$

bzw. deren Approximation. Die Approximation enthält jedoch die zweite Ableitung der unbekannten Regressionsfunktion ${\displaystyle m''(x)}$ sowie die unbekannte Dichtefunktion ${\displaystyle f_{X}(x)}$ und deren Ableitung. Stattdessen wird die datenbasierten gemittelte quadratische Abweichung

${\displaystyle \operatorname {ASE} ({\hat {m}}(x))={\frac {1}{n}}\sum _{i=1}^{n}({\hat {m}}(x)-y_{i})^{2}}$

minimiert. Da zur Schätzung von ${\displaystyle {\hat {m}}(x)}$ der Wert von ${\displaystyle y_{i}}$ genutzt wird, führt eine Bandweite ${\displaystyle h=0}$ zu einem ${\displaystyle \operatorname {ASE} ({\hat {m}}(x))=0}$ (Resubstitution Schätzung). Daher wird eine Leave-One-Out-Kreuzvalidierung durchgeführt, d. h. zur Berechnung des Schätzwertes ${\displaystyle {\hat {m}}(x_{i})}$ werden alle Beobachtungen herangezogen außer der i-ten. Damit wird der ${\displaystyle \operatorname {ASE} ({\hat {m}}(x))}$ für verschiedene Bandweiten berechnet. Die Bandweite, die einen minimalen ASE ergibt, wird dann zur Schätzung der unbekannten Regressionsfunktion genommen.

Konfidenzbänder

Nach der Schätzung der Regressionsfunktion ${\displaystyle {\hat {m}}(x)}$ stellt sich die Frage, wie weit diese von der wahren Funktion ${\displaystyle m(x)}$ abweicht. Die Arbeit von Bickel und Rosenblatt (1973) liefert zwei Theoreme für punktweise Konfidenzbänder und gleichmäßige Konfidenzbänder.

Neben der Information über die Abweichung zwischen ${\displaystyle {\hat {m}}(x)}$ und ${\displaystyle m(x)}$ liefern die Konfidenzbänder einen Hinweis darauf, ob ein mögliches parametrisches Regressionsmodell, z. B. eine lineare Regression, zu den Daten passt. Liegt der geschätzte Verlauf der Regressionsfunktion des parametrischen Regressionsmodells außerhalb der Konfidenzbänder, so ist dies ein Hinweis darauf, dass das parametrische Regressionsmodell nicht zu den Daten passt. Ein formaler Test ist mit Hilfe von Bootstrapping-Verfahren möglich.

Punktweise Konfidenzbänder: Unter bestimmten Voraussetzungen konvergiert in Verteilung

${\displaystyle n^{2/5}\left({\hat {m}}(x)-m(x)\right)\longrightarrow {\mathcal {N}}(B(x),V(x))}$

mit ${\displaystyle h=cn^{1/5}}$, ${\displaystyle B(x)=c\mu _{2}(K)\left({\tfrac {m''(x)}{2}}+{\tfrac {m'(x)f'_{X}(x)}{f_{X}(x)}}\right)}$ und ${\displaystyle V(x)={\tfrac {\sigma (x)|K|_{2}^{2}}{cf_{X}(x)}}}$.

Wenn die Bandweite klein genug ist, dann kann die asymptotische Verzerrung ${\displaystyle B(x)}$ vernachlässigt werden gegen die asymptotische Varianz ${\displaystyle V(x)}$. Damit können approximative ${\displaystyle 1-\alpha }$ Konfidenzbänder berechnet werden

${\displaystyle {\hat {m}}(x)\pm z_{1-\alpha /2}{\sqrt {\frac {|K|_{2}^{2}{\hat {\sigma }}^{2}(x)}{nh{\hat {f}}_{X}(x)}}}}$

mit ${\displaystyle z_{1-\alpha /2}}$ das ${\displaystyle 1-\alpha /2}$ Quantil der Standardnormalverteilung. Die unbekannte Dichte ${\displaystyle f_{x}(x)}$ wird dabei mit einer Kerndichteschätzung ${\displaystyle {\hat {f}}_{X}(x)}$ geschätzt und ${\displaystyle \sigma ^{2}(x)}$ mit

${\displaystyle {\hat {\sigma }}^{2}(x)={\frac {1}{n}}\sum _{i=1}^{n}W_{hi}(x)\left(y_{i}-{\hat {m}}(x)\right)^{2}}$.

Die Grafik rechts zeigt den Nadaraya-Watson-Schätzer mit punktweisen 95% Konfidenzband (rote Linien). Die schwarze lineare Regressionsgerade liegt in verschiedenen Bereichen deutlich außerhalb der Konfidenzbandes. Dies ist ein Hinweis darauf, dass ein lineares Regressionsmodell hier nicht angemessen ist.

Gleichmäßige Konfidenzbänder: Unter etwas stärkeren Voraussetzungen als zuvor und mit ${\displaystyle x\in [0;1]}$, ${\displaystyle h=n^{-\kappa }}$ mit ${\displaystyle 1/5<\kappa <1/2}$ und für Kerne mit Träger in ${\displaystyle [-1;1]}$ konvergiert

${\displaystyle P\left(|{\hat {m}}(x)-m(x)|\leq z_{n,\alpha }{\sqrt {\frac {|K|_{2}^{2}{\hat {\sigma }}^{2}(x)}{nh{\hat {f}}_{X}(x)}}}\right)\longrightarrow 1-\alpha }$

mit

${\displaystyle z_{n,\alpha }={\sqrt {{\frac {1}{\sqrt {2\kappa \log(n)}}}\left(\log \left({\frac {1}{2\pi }}{\frac {|K'|_{2}}{|K|_{2}}}\right)^{1/2}-\log \left(-{\frac {1}{2}}\log(1-\alpha )\right)\right)+{\sqrt {2\kappa \log(n)}}}}}$.

Die Bedingung ${\displaystyle x\in [0;1]}$ ist keine Einschränkung, da die Daten ${\displaystyle x_{i}}$ erst auf das Intervall ${\displaystyle [0;1]}$ transformiert werden können. Danach wird das Konfidenzband berechnet und wieder zurücktransformiert auf die Originaldaten.

Eigenschaften

1. Der Gasser-Müller Schätzer ist wie der Nadaraya-Watson-Schätzer ein linearer Schätzer und die Summe der Gewichtsfunktionen ist eins.

2. Für die mittlere quadratische Abweichung gilt:

${\displaystyle \operatorname {MSE} ({\hat {m}}^{GM}(x))\approx \underbrace {{\frac {h^{4}}{4}}\mu _{2}^{2}(K)(m''(x))^{2}} _{={\text{Verzerrung}}^{2}}+\underbrace {{\frac {1}{nh}}\|K\|_{2}^{2}} _{={\text{Varianz}}}}$.

Vorteile und Eigenschaften

Die lokal polynomiale Regression bietet gegenüber dem Nadaraya-Watson Schätzer einige Vorteile:

• Im Allgemeinen wird das lokal konstante ${\displaystyle \beta _{0}^{(0)}}$ von Beobachtungswerten beeinflusst die sowohl links als auch rechts vom Wert ${\displaystyle x}$ liegen. An den Rändern funktioniert das jedoch nicht und dies führt zu Randeffekten (englisch boundary effects). Die lokal polynomiale Kernregression approximiert jedoch lokal mit einem Polynom und kann dieses Problem vermeiden.
• Um die ${\displaystyle v}$te Ableitung zu schätzen, könnte man einfach den Nadaraya-Watson entsprechend oft ableiten. Mit der lokal polynomialen Kernregression ergibt sich jedoch ein deutlich eleganterer Weg:

${\displaystyle m_{p}^{(v)}(x)=v!{\hat {\beta }}_{v}^{(p)}}$

Meist wird ${\displaystyle p=v+1}$ oder ${\displaystyle p=v+3}$ benutzt. Ungerade Ordnungen ${\displaystyle p}$ sind besser als gerade Ordnungen.

• Wie im Fall der linearen Regression und des Nadaraya-Watson-Schätzer kann auch die lokal polynomiale Kernregression auch als Linearkombination der ${\displaystyle y_{i}}$ mit Gewichtsfunktionen ${\displaystyle W_{hi}^{(p)}}$ geschrieben werden:

${\displaystyle {\hat {m}}_{p}(x)=\sum _{i=1}^{n}y_{i}W_{hi}^{(p)}(x)}$.

Schätzung der Regressionsparameter

Definiert man die folgenden Matrizen:

${\displaystyle {\mathcal {X}}={\begin{pmatrix}1&(x_{1}-x)&\cdots &(x_{1}-x)^{p}\\1&(x_{2}-x)&\cdots &(x_{2}-x)^{p}\\\vdots &\vdots &&\vdots \\1&(x_{n}-x)&\cdots &(x_{n}-x)^{p}\end{pmatrix}}}$, ${\displaystyle {\mathcal {Y}}={\begin{pmatrix}y_{1}\\y_{2}\\\vdots \\y_{n}\end{pmatrix}}}$

und

${\displaystyle {\mathcal {W}}={\begin{pmatrix}K_{h}(x-x_{1})&0&\cdots &0\\0&K_{h}(x-x_{2})&\cdots &0\\\vdots &\vdots &\ddots &\vdots \\0&0&\cdots &K_{h}(x-x_{n})\end{pmatrix}}}$

so ergeben sich die Schätzung der Regressionsparameter ${\displaystyle \beta =(\beta _{0}^{(p)},\dots ,\beta _{p}^{(p)})^{T}}$ als

${\displaystyle {\hat {\beta }}=\left({\mathcal {X}}^{T}{\mathcal {W}}{\mathcal {X}}\right)^{-1}{\mathcal {X}}^{T}{\mathcal {W}}{\mathcal {Y}}}$.

Die für die Ableitung notwendigen Koeffizienten werden im Schätzverfahren also automatisch mit berechnet!

Um die Schätzung praktisch durchzuführen, berechnet man

${\displaystyle S_{j}=\sum _{i=1}^{n}K_{h}(x-x_{i})(x_{i}-x)^{j}}$

${\displaystyle T_{j}=\sum _{i=1}^{n}K_{h}(x-x_{i})(x_{i}-x)^{j}y_{i}}$

und berechnet

${\displaystyle {\hat {\beta }}={\begin{pmatrix}S_{0}&S_{1}&\cdots &S_{p}\\S_{1}&S_{2}&\cdots &S_{p+1}\\\vdots &\vdots &\ddots &\vdots \\S_{p}&S_{p+1}&\cdots &S_{2p}\end{pmatrix}}^{-1}{\begin{pmatrix}T_{0}\\T_{1}\\\vdots \\T_{p}\end{pmatrix}}}$

Lokal lineare Kernregression

Eines der bekanntesten lokal linearen Regressionsmodelle (${\displaystyle p=1}$) ist der lokal gewichtete Regression-Streudiagramm-Glätter, abgekürzt mit LOESS (englisch für locally estimated scatterplot smoothing, deutsch lokal geschätzte Streudiagrammglättung) oder veraltet LOWESS (englisch für locally weighted scatterplot smoothing, deutsch lokal gewichtete Streudiagrammglättung). Der LOWESS ist jedoch keine lokal-lineare Kernregression, denn

• die Regressionsgewichte werden robust geschätzt und
• die Bandweite variiert mit ${\displaystyle x}$.

Die Grafik rechts zeigt zwei verschiedene Methoden der Kernregression: Lokal konstant (rot, Nadaraya-Watson) und lokal linear (blau). Insbesondere an den Rändern approximiert die lokal lineare Kernregression die Daten etwas besser.

Die lokal lineare Kernregression ergibt sich als

${\displaystyle {\hat {m}}_{1}(x)={\frac {T_{0}S_{2}-T_{1}S_{1}}{S_{0}S_{2}-S_{1}^{2}}}}$.

Die mittlere quadratische Abweichung der lokal linearen Regression ergibt sich, wie beim Nadaraya-Watson-Schätzer, als

${\displaystyle \operatorname {MSE} ({\hat {m}}_{1}(x))\approx \underbrace {h^{4}B^{2}} _{={\text{Verzerrung}}^{2}}+\underbrace {{\frac {1}{nh}}V} _{={\text{Varianz}}}}$

mit

${\displaystyle \operatorname {Bias} ^{2}({\hat {m}}_{1}(x))={\frac {h^{4}}{4}}\left(m''(x)\right)^{2}\mu _{2}^{2}(K)}$

und die Varianz ist identisch zur Varianz des Nadaraya-Watson-Schätzers ${\displaystyle \operatorname {Var} ({\hat {m}}(x))}$. Die einfachere Form der Verzerrung macht die lokal lineare Kernregression attraktiver für praktische Zwecke.