Autoregressiver Prozess erster Ordnung (AR(1))

Der autoregressive Prozess erster Ordnung ist ein einfaches Modell der Zeitreihenanalyse und hat die Form

${\displaystyle Y_{t}=\beta _{0}+\beta _{1}Y_{t-1}+\varepsilon _{t}\quad ,t=1,\dots ,n}$,

wobei ${\displaystyle \varepsilon _{t}}$ weißes Rauschen darstellt. Der Regressor zum Zeitpunkt ${\displaystyle t}$ ist der zufällige Regressand vom Zeitpunkt ${\displaystyle t-1}$.

Fehler-in-den-Variablen-Modell

Gegeben sei im einfachsten Fall ein einfaches lineares Regressionsmodell (siehe z: B.):

${\displaystyle Y_{i}=\beta _{0}+\beta _{1}x_{i}+\varepsilon _{i};\ i=1,\dots ,n}$,

jedoch kann ${\displaystyle x_{i}}$ nur mit zufälligem Fehler ${\displaystyle u_{i}}$ beobachtet werden, d. h. man hat dann den stochastischen Regressor ${\displaystyle z_{i}=x_{i}+u_{i}}$. Solche Modelle nennt man Fehler-in-den-Variablen-Modelle.

Simultane Gleichungen

Als Beispiel betrachte man die keynesianische Konsumfunktion mit zwei simultanen Gleichungen (siehe z. B.):

${\displaystyle Y_{i}=\beta _{0}+\beta _{1}X_{i}+\varepsilon _{i};\ X_{i}=Y_{i}+I_{i};\ i=1.\dots ,n}$

Dabei ist ${\displaystyle Y_{i}}$ der Konsum, ${\displaystyle X_{i}}$ das Einkommen und ${\displaystyle I_{i}}$ die Investition. Setzt man die erste Gleichung in die zweite ein, ergibt sich:

${\displaystyle X_{i}={\frac {1}{1-\beta _{1}}}(\beta _{0}+I_{i}+\varepsilon _{i})}$,

d. h. ${\displaystyle X_{i}}$ ist zufällig, weil es von ${\displaystyle \varepsilon _{i}}$ abhängt.

Nichtzufällige Regressoren

In diesem Standardfall gilt bekanntermaßen

• ${\displaystyle b}$ ist beste lineare erwartungstreue Schätzfunktion (BLUE) mit ${\displaystyle \operatorname {Cov} b=\sigma ^{2}(X^{T}X)^{-1}}$.
• Falls das durchschnittliche Quadrat der beobachteten Werte der erklärenden Variablen auch bei einem ins Unendliche gehendem Stichprobenumfang endlich bleibt: ${\displaystyle \lim _{n\to \infty }{\frac {1}{n}}X^{T}X=Q}$ mit positiv definitem ${\displaystyle Q}$, dann ist ${\displaystyle b}$ konsistent für ${\displaystyle \beta }$.
• Falls die Störgröße normalverteilt ist, dann ist auch ${\displaystyle b}$ normalverteilt und es können t- bzw. F-verteilte Teststatistiken gebildet werden.

Exogenität der Regressoren

Darunter versteht man, dass die Regressoren ${\displaystyle X}$ zwar stochastisch, aber unkorreliert mit dem Störterm ${\displaystyle \varepsilon }$ sind, siehe z. B. Im obigen Fehler-in-den-Variablen-Beispiel hat man die Exogenität, wenn ${\displaystyle u_{i}}$ und ${\displaystyle \varepsilon _{i}}$ unkorreliert sind. Dann gilt:

• ${\displaystyle b}$ ist weiterhin BLUE mit ${\displaystyle \operatorname {Cov} b=\sigma ^{2}\operatorname {E} (X^{T}X)^{-1}}$, siehe
• Falls ${\displaystyle {\frac {1}{n}}X^{T}X}$ in Wahrscheinlichkeit gegen eine positiv definite Matrix ${\displaystyle Q}$ konvergiert, dann ist ${\displaystyle b}$ konsistent für ${\displaystyle \beta }$, siehe z. B.
• Falls ${\displaystyle \varepsilon }$ normalverteilt ist, dann ist ${\displaystyle b}$ asymptotisch normalverteilt. Die klassischen Teststatistiken können für große ${\displaystyle n}$ benutzt werden.

Allgemeine stochastische Regressoren

${\displaystyle X}$ und ${\displaystyle \varepsilon }$ sind korreliert, wie z. B. bei der keynesianischen Konsumfunktion. Dann ist ${\displaystyle b}$ verzerrt und nicht mehr konsistent für ${\displaystyle \beta }$. Die klassischen Teststatistiken können nicht benutzt werden. Es müssen prinzipiell andere Methoden gewählt werden.

Für Modelle der Zeitreihenanalyse, wenn allgemeiner als im obigen AR(1)-Beispiel ein ARMA-Modell vorliegt, gibt es spezielle, zum Teil rekursive Kleinste-Quadrate-Verfahren, die im Allgemeinen auf nichtlineare Kleinste-Quadrate-Schätzer führen, siehe z. B.

Unter dem Stichwort Simultane Gleichungen findet man die Methode der Instrumentvariablen, und da z. B. den zweistufigen Kleinste-Quadrate-Schätzer (engl. two-stage least-squares estimator) und den mit der verallgemeinerten Momentenmethode (engl. Generalized Method of Moments) gewonnenen Schätzer GMM-Schätzer, siehe z. B.