Rahmenbedingungen

Gegeben sei eine Familie von Wahrscheinlichkeitsmaßen ${\displaystyle (P_{\vartheta })_{\vartheta \in \Theta }}$ auf den reellen Zahlen, die mit einer beliebigen Indexmenge ${\displaystyle \Theta }$ indiziert ist. Es bezeichne ${\displaystyle P_{\vartheta }^{n}}$ das n-fache Produktmaß der Wahrscheinlichkeitsverteilung ${\displaystyle P_{\vartheta }}$.

Das statistische Modell sei gegeben als das n-fache Produktmodell

${\displaystyle (\mathbb {R} ^{n},{\mathcal {B}}(\mathbb {R} ^{n}),(P_{\vartheta }^{n})_{\vartheta \in \Theta })}$.

Sei ${\displaystyle X=(X_{1},X_{2},\dots ,X_{n})}$, wobei ${\displaystyle X_{i}}$ die i-te Stichprobenvariable ist. Die ${\displaystyle X_{i}}$ sind also unabhängig identisch verteilt. Es bezeichne ${\displaystyle \operatorname {E} _{\vartheta }}$ die Bildung des Erwartungswertes bezüglich ${\displaystyle P_{\vartheta }}$ und

${\displaystyle m_{j}(\vartheta )=\operatorname {E} _{\vartheta }(X_{1}^{j})}$

das j-te Moment einer nach ${\displaystyle P_{\vartheta }}$ verteilten Zufallsvariable bzw. des Wahrscheinlichkeitsmaßes ${\displaystyle P_{\vartheta }}$. Des Weiteren sei

${\displaystyle m_{j}(X)={\frac {1}{n}}\sum _{i=1}^{n}X_{i}^{j}}$

das j-te Stichprobenmoment von ${\displaystyle X}$.

Methode

Geschätzt werden soll eine Funktion

${\displaystyle q\colon \Theta \to \mathbb {R} }$,

die im Falle eines parametrischen Modells auch als Parameterfunktion bezeichnet wird. Es gelten die folgenden Voraussetzungen:

• Es existiert ein ${\displaystyle k\in \mathbb {N} }$, so dass für alle ${\displaystyle \vartheta \in \Theta }$ und alle ${\displaystyle j\leq k}$ die Momente ${\displaystyle m_{j}(\vartheta )}$ existieren.
• Es existiert eine stetige Funktion ${\displaystyle g\colon \mathbb {R} ^{k}\to \mathbb {R} }$, so dass

${\displaystyle q(\vartheta )=g{\bigl (}m_{1}(\vartheta ),m_{2}(\vartheta ),\dots ,m_{k}(\vartheta ){\bigr )}}$.

Die zu schätzende Funktion lässt sich also als Funktion der Momente darstellen.

Dann ist

${\displaystyle {\hat {q}}(X):=g{\bigl (}m_{1}(X),m_{2}(X),\dots ,m_{k}(X){\bigr )}=g\left({\frac {1}{n}}\sum _{i=1}^{n}X_{i},{\frac {1}{n}}\sum _{i=1}^{n}X_{i}^{2},\dots ,{\frac {1}{n}}\sum _{i=1}^{n}X_{i}^{k}\right)}$

eine Schätzfunktion für ${\displaystyle q}$.

Man erhält also eine Schätzfunktion, indem man in der zu schätzenden Funktion die Momente ${\displaystyle m_{j}(\vartheta )}$ der Wahrscheinlichkeitsverteilungen durch die Stichprobenmomente ${\displaystyle m_{j}(X)}$ ersetzt.

Schätzung des Erwartungswertes

Es soll der Erwartungswert einer Stichprobe geschätzt werden. Aufgrund mangelnder Informationen über die Struktur möglicher Wahrscheinlichkeitsverteilungen wählt man als Familie von Wahrscheinlichkeitsmaßen alle Wahrscheinlichkeitsmaße mit endlichem Erwartungswert, versehen mit einer beliebigen Indexmenge ${\displaystyle \Theta }$. Es handelt sich bei dem entsprechenden Produktmodell also um ein nichtparametrisches Modell. Aus der Indizierung kann keinerlei Schluss über den Erwartungswert gezogen werden oder umgekehrt.

Geschätzt werden soll der Erwartungswert, die zu schätzende Funktion ist also

${\displaystyle q(\vartheta )=\operatorname {E} _{\vartheta }(Y)}$

Als Darstellung durch die Momente findet sich

${\displaystyle q(\vartheta )=m_{1}(\vartheta )}$,

da der Erwartungswert genau das erste Moment ist. Per Definition der Wahrscheinlichkeitsverteilungen existiert dieser immer, es ist somit ${\displaystyle k=1}$. Gesucht ist nun eine Darstellung von ${\displaystyle q}$ als Verkettung des ersten Moments und einer unbekannten stetigen Funktion ${\displaystyle g}$. Diese ergibt sich trivialerweise als

${\displaystyle g(x)=x}$,

da

${\displaystyle g(m_{1}(\vartheta ))=m_{1}(\vartheta )=q(\vartheta )}$.

Das Einsetzen des ersten Stichprobenmoments

${\displaystyle m_{1}(X)={\tfrac {1}{n}}\sum _{i=1}^{n}X_{i}}$

in ${\displaystyle g}$ liefert somit als Schätzfunktion für den Erwartungswert das Stichprobenmittel

${\displaystyle {\hat {q}}(X)=g(m_{1}(X))={\tfrac {1}{n}}\sum _{i=1}^{n}X_{i}={\overline {X}}}$

Schätzung der Varianz

Analog zu oben soll nun ohne weiteres Vorwissen die Varianz geschätzt werden. Die Familie von Wahrscheinlichkeitsmaßen ist demnach so gewählt, dass alle eine endliche Varianz besitzen und mit einer Indexmenge ${\displaystyle \Theta }$ indiziert sind.

Zu schätzende Funktion ist die Varianz, also

${\displaystyle q(\theta )=\operatorname {Var} _{\theta }(Y)=\operatorname {E} _{\vartheta }(Y^{2})-(\operatorname {E} _{\vartheta }(Y))^{2}}$

nach dem Verschiebungssatz. Es ist also

${\displaystyle q(\vartheta )=m_{2}(\vartheta )-m_{1}(\vartheta )^{2}}$.

Die Funktion ${\displaystyle q}$ lässt sich also als Verkettung der ersten beiden Momente und der stetigen Funktion

${\displaystyle g(x_{1},x_{2})=x_{2}-x_{1}^{2}}$

schreiben. Substituiert man die Momente der Wahrscheinlichkeitsverteilungen durch die Stichprobenmomente, so erhält man

${\displaystyle {\hat {q}}(X)=m_{2}(X)-\left(m_{1}(X)\right)^{2}={\tfrac {1}{n}}\sum _{i=1}^{n}X_{i}^{2}-\left({\tfrac {1}{n}}\sum _{i=1}^{n}X_{i}\right)^{2}={\tfrac {1}{n}}\sum _{i=1}^{n}(X_{i}-{\overline {X}})^{2}}$

mit ${\displaystyle {\overline {X}}}$ wie oben als Schätzfunktion die (nicht korrigierte) Stichprobenvarianz. Sie ist ein klassisches Beispiel für einen nicht erwartungstreuen Momentenschätzer.