Einfache lineare Regression

In der einfachen lineare Regression ist der Standardfehler der Regression definiert durch

${\displaystyle {\hat {\sigma }}=+{\sqrt {SQR/(n-2)}}=+{\sqrt {{\frac {1}{n-2}}\sum \limits _{i=1}^{n}{\hat {\varepsilon }}_{i}^{2}}}=+{\sqrt {{\frac {1}{n-2}}\sum \limits _{i=1}^{n}\left(y_{i}-b_{0}-b_{1}x_{i}\right)^{2}}}}$, mit den Kleinste-Quadrate-Schätzern ${\displaystyle b_{1}={\frac {\sum \nolimits _{i=1}^{n}(x_{i}-{\overline {x}})(y_{i}-{\overline {y}})}{\sum \nolimits _{i=1}^{n}(x_{i}-{\overline {x}})^{2}}}\;}$ und ${\displaystyle \;b_{0}={\overline {y}}-b_{1}{\overline {x}}}$, für den Anstieg ${\displaystyle \beta _{1}}$ und den Achsenabschnitt ${\displaystyle \beta _{0}}$.

Die Darstellung ist unverzerrt, da sie durch Einbezug der Freiheitsgrade der Varianzschätzer, wegen ${\displaystyle \mathbb {E} ({\hat {\sigma }}^{2})=\sigma ^{2}}$, unter den Gauss-Markov-Annahmen erwartungstreu ist (siehe auch Schätzer für die Varianz der Störgrößen). Der Standardfehler der Regression wird als Quadratwurzel des durchschnittliches Residuenquadrats berechnet und ist ein eigenständiges Modellgütemaß. Er gibt an, wie groß im Durchschnitt die Abweichung der Messwerte von der Regressionsgerade ausfällt. Je größer der Standardfehler der Regression, desto schlechter beschreibt die Regressionsgerade die Verteilung der Messwerte. Der Standardfehler der Regression ist in der Regel kleiner als der Standardfehler der Zielgröße ${\displaystyle {\hat {\sigma }}_{y}}$. Das Bestimmtheitsmaß wird häufiger angegeben als der Standardfehler der Residuen, obwohl der Standardfehler der Residuen bei der Bewertung Anpassungsgüte möglicherweise aussagekräftiger ist. Wenn der Standardfehler der Regression in der einfachen linearen Regression in die Varianzformeln für ${\displaystyle \beta _{0}}$ und ${\displaystyle \beta _{1}}$ eingesetzt wird, dann erhält man erwartungstreue Schätzer für ${\displaystyle \sigma _{{\hat {\beta }}_{0}}^{2}}$ und ${\displaystyle \sigma _{{\hat {\beta }}_{1}}^{2}}$

${\displaystyle {\hat {\sigma }}_{{\hat {\beta }}_{0}}^{2}={\hat {\sigma }}^{2}{\frac {\sum \nolimits _{i=1}^{n}x_{i}^{2}}{n\sum \nolimits _{i=1}^{n}(x_{i}-{\overline {x}})^{2}}}\;}$ und ${\displaystyle \;{\hat {\sigma }}_{{\hat {\beta }}_{1}}^{2}={\hat {\sigma }}^{2}{\frac {1}{\sum \nolimits _{i=1}^{n}(x_{i}-{\overline {x}})^{2}}}}$.

Des Weiteren lassen sich mithilfe des Standardfehlers der Residuen Konfidenzintervalle konstruieren.

Multiple lineare Regression

In der multiplen linearen Regression ist der Standardfehler der Regression definiert durch

${\displaystyle {\hat {\sigma }}=+{\sqrt {MQR}}=+{\sqrt {SQR/(n-k-1)}}=+{\sqrt {\frac {{\hat {\boldsymbol {\varepsilon }}}^{\top }{\hat {\boldsymbol {\varepsilon }}}}{n-k-1}}}=+{\sqrt {\frac {\left(\mathbf {y} -\mathbf {X} \mathbf {b} \right)^{\top }\left(\mathbf {y} -\mathbf {X} \mathbf {b} \right)}{n-k-1}}}}$ mit dem Kleinste-Quadrate-Schätzer ${\displaystyle \mathbf {b} =(\mathbf {X} ^{\top }\mathbf {X} )^{-1}\mathbf {X} ^{\top }\mathbf {y} }$.

Eine Alternative Darstellung des Standardfehlers der Regression ergibt sich aus der Tatsache, dass sich die Residuenquadratsumme mittels der residuenerzeugenden Matrix auch darstellen lässt als ${\displaystyle SQR={\hat {\boldsymbol {\varepsilon }}}^{\top }{\hat {\boldsymbol {\varepsilon }}}={\boldsymbol {\varepsilon }}^{\top }\mathbf {Q} {\boldsymbol {\varepsilon }}}$. Damit ergibt sich für den Standardfehler der Regression

${\displaystyle {\hat {\sigma }}={\sqrt {\frac {\mathbf {y} ^{\top }\mathbf {y} -\mathbf {b} ^{\top }\mathbf {X} ^{\top }\mathbf {y} }{n-p}}}={\sqrt {\frac {\mathbf {y} ^{\top }{\boldsymbol {Q}}\mathbf {y} }{n-p}}}={\sqrt {\frac {{\boldsymbol {\varepsilon }}^{\top }{\boldsymbol {Q}}{\boldsymbol {\varepsilon }}}{n-p}}}}$

Ersetzt man bei der Standardabweichung des jeweiligen Parameterschätzers ${\displaystyle {\sqrt {\operatorname {Var} (b_{j})}}}$ das unbekannte ${\displaystyle \sigma }$ durch das bekannte ${\displaystyle {\hat {\sigma }}}$ ergibt sich der Standardfehler des Regressionskoeffizienten ${\displaystyle b_{j}}$ durch

${\displaystyle \operatorname {SE} (b_{j})={\sqrt {\frac {{\tfrac {1}{n-p}}\sum \nolimits _{i=1}^{n}{\hat {\varepsilon }}_{i}^{2}}{(1-{\mathit {R}}_{j}^{2})\sum \nolimits _{i=1}^{n}(x_{ij}-{\overline {x}}_{j})^{2}}}}}$.

Die Größe der Standardfehler der geschätzten Regressionsparameter hängt also von der Residualvarianz, der Abhängigkeit der erklärenden Variablen untereinander und der Streuung der jeweiligen erklärenden Variablen ab.