Normalverteilungen

Sei ${\displaystyle {\mathcal {P}}}$ die Familie der Normalverteilungen, die eine Lage-Skalen-Familie bildet

${\displaystyle {\mathcal {P}}={\Big \{}\ f_{\theta }(x)={\tfrac {1}{{\sqrt {2\pi }}\sigma }}e^{-{\frac {1}{2\sigma ^{2}}}(x-\mu )^{2}}\ {\Big |}\ \theta =(\mu ,\sigma ):\mu \in \mathbb {R} ,\,\sigma \!>0\ {\Big \}}}$.

Dann ist

${\displaystyle {\begin{aligned}&f_{\theta _{1}}=f_{\theta _{2}}\\[6pt]\Longleftrightarrow {}&{\frac {1}{{\sqrt {2\pi }}\sigma _{1}}}\exp \left(-{\frac {1}{2\sigma _{1}^{2}}}(x-\mu _{1})^{2}\right)={\frac {1}{{\sqrt {2\pi }}\sigma _{2}}}\exp \left(-{\frac {1}{2\sigma _{2}^{2}}}(x-\mu _{2})^{2}\right)\\[6pt]\Longleftrightarrow {}&{\frac {1}{\sigma _{1}^{2}}}(x-\mu _{1})^{2}+\ln \sigma _{1}={\frac {1}{\sigma _{2}^{2}}}(x-\mu _{2})^{2}+\ln \sigma _{2}\\[6pt]\Longleftrightarrow {}&x^{2}\left({\frac {1}{\sigma _{1}^{2}}}-{\frac {1}{\sigma _{2}^{2}}}\right)-2x\left({\frac {\mu _{1}}{\sigma _{1}^{2}}}-{\frac {\mu _{2}}{\sigma _{2}^{2}}}\right)+\left({\frac {\mu _{1}^{2}}{\sigma _{1}^{2}}}-{\frac {\mu _{2}^{2}}{\sigma _{2}^{2}}}+\ln \sigma _{1}-\ln \sigma _{2}\right)=0\end{aligned}}}$.

Dieser Ausdruck ist genau dann fast überall null, wenn alle Koeffizienten null sind, was nur für ${\displaystyle \vert \sigma _{1}\vert =\vert \sigma _{2}\vert }$ und ${\displaystyle \mu _{1}=\mu _{2}}$ möglich ist. Weil der Skalenparameter ${\displaystyle \sigma }$ positiv ist, ist das Modell identifizierbar: ${\displaystyle f_{\theta _{1}}=f_{\theta _{2}}\Leftrightarrow \theta _{1}=\theta _{2}}$.

Multiples lineares Regressionsmodell

Sei ${\displaystyle {\mathcal {P}}}$ das das klassische Modell der linearen Mehrfachregression ${\displaystyle \mathbf {y} =\mathbf {X} {\boldsymbol {\beta }}+{\boldsymbol {\varepsilon }}}$, mit ${\displaystyle {\boldsymbol {\beta }}}$ dem ${\displaystyle p\times 1}$ Vektor der unbekannten Regressionsparameter, der ${\displaystyle n\times p}$ Versuchsplanmatrix ${\displaystyle \mathbf {X} }$, dem ${\displaystyle n\times 1}$ Vektor der abhängigen Variablen ${\displaystyle \mathbf {y} }$ und dem ${\displaystyle n\times 1}$ Vektor der Störgrößen ${\displaystyle {\boldsymbol {\varepsilon }}}$. Dann ist der Parameter ${\displaystyle {\hat {\boldsymbol {\beta }}}}$ genau dann identifizierbar, wenn die Matrix ${\displaystyle (\mathbf {X} ^{\top }\mathbf {X} )^{-1}}$ invertierbar ist.

Klassisches Fehler-in-den-Variablen-Modell

Sei ${\displaystyle {\mathcal {P}}}$ das klassische Fehler-in-den-Variablen-Modell

${\displaystyle {\begin{cases}y=\beta x^{*}+\varepsilon ,\\x=x^{*}+\eta ,\end{cases}},}$

wobei ${\displaystyle (\varepsilon ,\eta ,x^{*})}$ gemeinsam normalverteilte unabhängige Zufallsvariablen mit Erwartungswert null und unbekannter Varianz sind und nur die Variablen ${\displaystyle (x,y)}$ beobachtet werden.

Dieses Modell ist nicht identifizierbar. Jedoch ist das Produkt ${\displaystyle \beta \sigma _{*}^{2}}$ (wobei ${\displaystyle \sigma _{*}^{2}}$ die Varianz des latenten Regressors ${\displaystyle x^{*}}$ ist) identifizierbar.

In diesem Beispiel kann zwar nicht der exakte Wert von ${\displaystyle {\hat {\beta }}}$ identifiziert werden, jedoch kann man garantieren, dass er im Intervall ${\displaystyle ({\hat {\beta }}_{yx},{\frac {1}{{\hat {\beta }}_{xy}}})}$ liegen muss, wobei ${\displaystyle {\hat {\beta }}_{yx}}$ und ${\displaystyle {\hat {\beta }}_{yx}}$ die Koeffizienten sind, die mittels einer gewöhnlichen Kleinste-Quadrate-Schätzung von ${\displaystyle y}$ auf ${\displaystyle x}$ bzw. ${\displaystyle x}$ auf ${\displaystyle y}$ gewonnen wurden.