Datenaufbereitung

Am Beginn jedes statistischen Verfahrens steht die Aufbereitung der Daten, insbesondere

• die Plausibilisierung. Hierbei wird geprüft, ob die Daten nachvollziehbar sind. Dies kann manuell oder automatisch anhand von Gültigkeitsregeln erfolgen.
• der Umgang mit fehlenden Daten. Häufig werden unvollständige Datensätze weggelassen, mitunter werden die fehlenden Daten auch nach bestimmten Verfahren aufgefüllt.
• die Transformation der Daten. Diese kann aus verschiedenen Gründen erfolgen. Sie kann beispielsweise zu einer besseren Interpretierbarkeit oder Visualisierbarkeit der Daten führen. Sie kann auch dazu dienen, die Daten in eine Form zu bringen, in der die Annahmen des Regressionsverfahrens erfüllt sind. Im Falle der linearen Regression werden etwa ein linearer Zusammenhang zwischen den unabhängigen und der abhängigen Variable sowie Homoskedastizität vorausgesetzt. Es gibt mathematische Hilfsmittel zum Finden einer geeigneten Transformation, im Beispiel der Linearisierung des Zusammenhanges etwa die Box-Cox-Transformation.
• die Berücksichtigung von Interaktionen (bei linearer Regression). Hierbei wird neben dem Einfluss der unabhängigen Variablen auch der Einfluss mehrerer Variablen gleichzeitig berücksichtigt.

Modellanpassung

In der Praxis wählt der Anwender zuerst ein Modell aus, das er schätzen möchte, und verwendet dann die gewählte Schätzmethode (z. B. die gewöhnliche Kleinste-Quadrate-Schätzung), um die Parameter dieses Modells zu schätzen. Regressionsmodelle umfassen im Allgemeinen die folgenden Komponenten:

• die unabhängigen Variablen, für die Daten vorliegen und oft im Vektor ${\displaystyle \mathbf {x} _{i}}$ zusammengefasst werden ${\displaystyle \mathbf {x} _{i}^{\top }=(x_{i0},x_{i1},\dotsc ,x_{ik})}$ (hierbei stellt ${\displaystyle i}$ eine Datenreihe dar).
• die abhängige Variable, für die Daten vorliegen und die häufig mit dem Skalar ${\displaystyle y_{i}}$ angegeben wird. Man sagt: „Variable ${\displaystyle y_{i}}$ wird auf Variable ${\displaystyle x_{i0},x_{i1},\dotsc }$ und ${\displaystyle x_{ik}}$ regressiert“ oder „Regression von ${\displaystyle y_{i}}$ auf ${\displaystyle x_{i0},x_{i1},\dotsc }$ und ${\displaystyle x_{ik}}$“.
• die unbekannten zu schätzenden Parameter ${\displaystyle \beta _{0},\beta _{1},\dotsc ,\beta _{k}}$: Sie stellen Skalare dar.
• die unbeobachtbaren Störgrößen (statistisches Rauschen), die nicht direkt beobachtet werden können und häufig als ${\displaystyle \varepsilon _{i}}$ angegeben werden.

In verschiedenen Anwendungsbereichen der Statistik werden unterschiedliche Terminologien anstelle von abhängige und unabhängige Variablen verwendet (siehe Abhängige und unabhängige Variable#Statistische Bezeichnungen und Konzepte).

In den allermeisten Regressionsmodellen ist ${\displaystyle Y_{i}}$ eine Funktion von ${\displaystyle X_{i}}$ und ${\displaystyle \beta }$, wobei diese Beziehung von einer additiven Störgröße ${\displaystyle \varepsilon _{i}}$ überlagert wird, die für nicht modellierte oder unbekannte Bestimmungsfaktoren von ${\displaystyle Y_{i}}$ stehen kann:

${\displaystyle Y_{i}=f(X_{i},\beta )+\varepsilon _{i}}$.

Ziel des Anwenders ist es, diejenige Funktion ${\displaystyle f(X_{i},\beta )}$ zu schätzen, die am ehesten zu den vorliegenden Daten passt. Um eine Regressionsanalyse durchzuführen, muss die funktionale Form der Funktion ${\displaystyle f(\cdot )}$ angegeben werden. Manchmal basiert die Angabe der Form dieser Funktion auf nicht datenbasierten Erfahrungswissen über die Beziehung zwischen ${\displaystyle Y_{i}}$ und ${\displaystyle X_{i}}$ (die Lineare Regression etwa betrachtet nur lineare Funktionen ${\displaystyle f}$, logistische Regression betrachtet nur logistische Funktionen). Wenn kein solches Wissen vorhanden ist, kann eine flexiblere bzw. allgemeinere Form für ${\displaystyle f(\cdot )}$ gewählt werden. Beispielsweise kann eine einfache lineare Regression (lineare Einfachregression) ${\displaystyle f(X_{i},\beta )=\beta _{0}+\beta _{1}X_{i}}$ angewandt werden, was darauf hindeutet, dass der Forscher glaubt, dass ${\displaystyle Y_{i}=\beta _{0}+\beta _{1}X_{i}+\varepsilon _{i}}$ eine angemessene Annäherung für den wahren datengenerierenden Prozess sein könnte.

Sobald der Anwender sein bevorzugtes statistisches Modell festgelegt hat, bieten verschiedene Formen der Regressionsanalyse Werkzeuge zur Schätzung des Parameters ${\displaystyle \beta }$. Zum Beispiel findet die Kleinste-Quadrate-Schätzung (einschließlich seiner häufigsten Variante, der gewöhnlichen Kleinste-Quadrate-Schätzung) denjenigen Wert von ${\displaystyle \beta }$, der die Residuenquadratsumme ${\displaystyle \sum (Y_{i}-f(X_{i},\beta ))^{2}}$ minimiert. Eine gegebene Regressionsmethode liefert letztendlich eine Schätzung von ${\displaystyle \beta }$, die für gewöhnlich als ${\displaystyle {\hat {\beta }}}$ bezeichnet wird, um die Schätzung von dem wahren (unbekannten) Parameterwert ${\displaystyle \beta }$ zu unterscheiden, der die Daten generiert hat. Mit dieser Schätzung kann der Anwender dann den angepassten Wert bzw. vorhergesagten Wert (englisch fitted value) ${\displaystyle {\hat {Y}}_{i}=f(X_{i},{\hat {\beta }})}$ zur Vorhersage verwenden oder auch zur Beurteilung, wie genau das Modell die Daten erklären kann. Ob der Anwender grundsätzlich an der Schätzung ${\displaystyle {\hat {\beta }}}$ oder dem vorhergesagten Wert ${\displaystyle {\hat {Y}}_{i}}$ interessiert ist, hängt vom Kontext und den Zielen des Anwenders ab. Die gewöhnliche Kleinste-Quadrate-Schätzung wird oft verwendet, da die geschätzte Funktion ${\displaystyle {\hat {Y}}_{i}=f(X_{i},{\hat {\beta }})}$ eine Schätzung des bedingten Erwartungswertes ${\displaystyle \operatorname {E} (Y_{i}\mid X_{i})}$ darstellt.

Alternative Varianten (z. B. sogenannte robuste Schätzverfahren, die den Betrag der Abweichungen minimieren, wie die Median-Regression oder die Quantilsregression) sind jedoch nützlich, wenn Anwender andere Funktionen ${\displaystyle f(X_{i},\beta )}$ z. B. nichtlinearer Modelle modellieren möchte.

Es ist wichtig zu beachten, dass genügend Daten vorhanden sein müssen, um ein Regressionsmodell zu schätzen. Angenommen, ein Anwender hat Zugriff auf ${\displaystyle n}$ Datenzeilen mit einer abhängigen und zwei unabhängigen Variablen: ${\displaystyle (Y_{i},X_{1i},X_{2i})}$. Sei weiterhin angenommen, der Anwender möchte ein einfaches lineares Modell über die Kleinste-Quadrate-Schätzung schätzen. Das zu schätzende Modell lautet dann ${\displaystyle Y_{i}=\beta _{0}+\beta _{1}X_{1i}+\beta _{2}X_{2i}+\varepsilon _{i}}$. Wenn der Anwender nur Zugriff auf ${\displaystyle n=2}$ Datenpunkte hat, kann er unendlich viele Kombinationen ${\displaystyle ({\hat {\beta }}_{0},{\hat {\beta }}_{1},{\hat {\beta }}_{2})}$ finden, die die Daten gleich gut erklären: Es kann eine beliebige Kombination ausgewählt werden, die ${\displaystyle {\hat {Y}}_{i}={\hat {\beta }}_{0}+{\hat {\beta }}_{1}X_{1i}+{\hat {\beta }}_{2}X_{2i}}$ erfüllt, die alle zu ${\displaystyle \sum _{i}{\hat {e}}_{i}^{2}=\sum _{i}({\hat {Y}}_{i}-({\hat {\beta }}_{0}+{\hat {\beta }}_{1}X_{1i}+{\hat {\beta }}_{2}X_{2i}))^{2}=0}$ führen und ist daher eine gültige Lösung, die diejenige, die die Summe der Residuenquadrate (Residuenquadratsumme) minimiert. Um zu verstehen, warum es unendlich viele Möglichkeiten gibt, ist zu beachten, dass das System der ${\displaystyle n=2}$-Gleichungen für 3 Unbekannte gelöst werden muss, wodurch das System unterbestimmt wird. Alternativ kann man unendlich viele dreidimensionale Ebenen visualisieren, die durch ${\displaystyle n=2}$ Fixpunkte verlaufen.

Ein allgemeinerer Ansatz ist ein Kleinste-Quadrate-Modell mit ${\displaystyle k}$ unterschiedlichen Parametern zu schätzen. Dazu müssen ${\displaystyle N\geq k}$ unterschiedliche Datenpunkte vorliegen. Wenn ${\displaystyle N>k}$ ist, gibt es im Allgemeinen keinen Satz von Parametern, der perfekt zu den Daten passt. Die Größe ${\displaystyle N-k}$ erscheint häufig in der Regressionsanalyse und wird im Modell als Anzahl der Freiheitsgrade bezeichnet. Um ein Kleinste-Quadrate-Modell zu schätzen, müssen außerdem die unabhängigen Variablen ${\displaystyle (X_{1i},X_{2i},...,X_{ki})}$ linear unabhängig sein, d. h. man muss keine der unabhängigen Variablen rekonstruieren können, indem man die verbleibenden unabhängigen Variablen addiert und multipliziert. Diese Bedingung stellt sicher, dass die Produktsummenmatrix ${\displaystyle \mathbf {X} ^{\top }\mathbf {X} }$ eine invertierbare Matrix ist und daher eine Lösung ${\displaystyle {\hat {\beta }}}$ existiert.

Modellvalidierung

Ein wichtiger Schritt der Regressionsanalyse ist die Modellvalidierung. Hierbei wird überprüft, ob das Modell eine gute Beschreibung des Zusammenhangs ist. Die Modellvalidierung umfasst die

• Residuenanalyse. Viele Regressionsverfahren treffen Annahmen über die Residuen ${\displaystyle {\hat {\varepsilon }}_{i}}$ des Modells. So wird z. B. eine bestimmte Verteilung, konstante Varianz oder fehlende Autokorrelation unterstellt. Da die Residuen Ergebnis des Verfahrens sind, kann die Prüfung der Annahmen erst im Nachhinein erfolgen. Typisches Hilfsmittel zur Überprüfung der Verteilung ist das Quantil-Quantil-Diagramm.
• Überanpassung. Dieses Phänomen tritt auf, wenn zu viele unabhängige Variablen im Modell berücksichtigt werden. Ein Verfahren zum Testen auf Überanpassung ist das Kreuzvalidierungsverfahren.
• Untersuchung der Daten auf Ausreißer und einflussreiche Datenpunkte. Hierbei wird überprüft, welche Datensätze nicht zur ermittelten Funktion ${\displaystyle f(\cdot )}$ passen (Ausreißer) und welche Daten die ermittelte Funktion stark beeinflussen. Für diese Datensätze empfiehlt sich eine gesonderte Untersuchung. Mathematische Hilfsmittel zur Ermittlung von Ausreißern und einflussreichen Punkten sind Cook- und Mahalanobis-Abstand.
• Multikollinearität zwischen den unabhängigen Variablen (bei linearen Modellen). Wenn es einen linearen Zusammenhang zwischen den unabhängigen Variablen ${\displaystyle x}$ gibt, dann kann das zum einen die numerische Stabilität des Verfahrens beeinträchtigen und zum anderen die Interpretation des Modells bzw. der angepassten Funktion erschweren. Hilfsmittel zum Quantifizieren der Kollinearität sind der Varianzinflationsfaktor und die Korrelationsmatrix.

Vorhersage

Das validierte Modell kann zur Vorhersage von Werten von ${\displaystyle y}$ bei gegebenen Werten von ${\displaystyle x}$ herangezogen werden. Häufig wird neben dem prognostizierten Wert von ${\displaystyle y}$ auch ein Vorhersageintervall angegeben, um so die Unsicherheit der Vorhersage abzuschätzen.

Bei Vorhersagen im Wertebereich der zur Modellanpassung verwendeten Daten spricht man von Interpolation. Vorhersagen außerhalb dieses Datenbereichs nennt man Extrapolation. Vor der Durchführung von Extrapolationen sollte man sich gründlich mit den dabei implizierten Annahmen auseinandersetzen.

Variablenauswahl und Modellvergleich

Ist das Ziel der Analyse die Ermittlung derjenigen unabhängigen Variablen, die besonders stark in Zusammenhang mit der abhängigen Variablen ${\displaystyle y}$ stehen, werden häufig mehrere Modelle mit jeweils unterschiedlichen unabhängigen Variablen erstellt und diese Modelle verglichen. Um zwei Modelle miteinander zu vergleichen, werden in der Regel Kennzahlen wie das Bestimmtheitsmaß oder Informationskriterien benutzt.

Es gibt automatisierte Verfahren wie die sogenannte schrittweise Regression, die sukzessive dasjenige Modell zu ermitteln versuchen, welches den gesuchten Zusammenhang am besten erklärt. Die Anwendung solcher Verfahren wird jedoch kontrovers diskutiert.

Des Weiteren gibt es in der bayesschen Statistik Verfahren, die aus mehreren Modellen ein neues Modell ableiten (durch sogenanntes averaging) und so versuchen, die aus der Modellwahl entstehende Unsicherheit zu verringern.

Grundlegende Verfahren

Verallgemeinerte Verfahren

Spezielle Verfahren