Bernoullis Gesetz der großen Zahlen

Sind ${\displaystyle (X_{n})_{n\in \mathbb {N} }}$ unabhängig identisch Bernoulli-verteilte Zufallsvariablen zum Parameter ${\displaystyle p\in (0,1)}$, das heißt

${\displaystyle X_{n}\sim \operatorname {Ber} (p)}$,

so genügt ${\displaystyle (X_{n})_{n\in \mathbb {N} }}$ dem schwachen Gesetz der großen Zahlen und der Mittelwert konvergiert in Wahrscheinlichkeit gegen den Parameter ${\displaystyle p}$.

Diese Aussage geht auf Jakob I Bernoulli zurück, wurde jedoch erst 1713 posthum in der von seinem Neffen Nikolaus I Bernoulli herausgegebenen Ars conjectandi veröffentlicht.

Tschebyscheffs schwaches Gesetz der großen Zahlen

Sind ${\displaystyle (X_{n})_{n\in \mathbb {N} }}$ unabhängig identisch verteilte Zufallsvariablen mit endlichem Erwartungswert und endlicher Varianz, so genügt ${\displaystyle (X_{n})_{n\in \mathbb {N} }}$ dem schwachen Gesetz der großen Zahlen.

Diese Aussage geht auf Pafnuti Lwowitsch Tschebyschow (alternative Transkriptionen aus dem Russischen Tschebyscheff oder Chebyshev) zurück, der sie 1866 bewies.

L²-Version des schwachen Gesetzes der großen Zahlen

Sind ${\displaystyle (X_{n})_{n\in \mathbb {N} }}$ eine Folge von Zufallsvariablen, für die gilt:

• Die ${\displaystyle X_{n}}$ sind paarweise unkorreliert, das heißt, es ist ${\displaystyle \operatorname {Cov} (X_{i},X_{j})=0}$ für ${\displaystyle i\neq j}$.
• Für die Folge der Varianzen der ${\displaystyle X_{n}}$ gilt

${\displaystyle \lim _{n\to \infty }{\frac {1}{n^{2}}}\sum _{i=1}^{n}\operatorname {Var} (X_{i})=0}$.

Dann genügt ${\displaystyle (X_{n})_{n\in \mathbb {N} }}$ dem schwachen Gesetz der großen Zahlen.

Dabei ist die Bedingung an die Varianzen beispielsweise erfüllt, wenn die Folge der Varianzen beschränkt ist, es ist also ${\displaystyle \sup _{n\in \mathbb {N} }\operatorname {Var} (X_{n})<\infty }$.

Diese Aussage ist aus zweierlei Gründen eine echte Verbesserung gegenüber dem schwachen Gesetz der großen Zahlen von Tschebyscheff:

1. Paarweise Unkorreliertheit ist eine schwächere Forderung als Unabhängigkeit, da aus Unabhängigkeit immer paarweise Unkorreliertheit folgt, der Umkehrschluss aber im Allgemeinen nicht gilt.
2. Die Zufallsvariablen müssen auch nicht mehr dieselbe Verteilung besitzen, es genügt die obige Forderung an die Varianzen.

Die Benennung in L²-Version kommt aus der Forderung, dass die Varianzen endlich sein sollen, dies entspricht in maßtheoretischer Sprechweise der Forderung, dass die Zufallsvariable (messbare Funktion) im Raum der quadratintegrierbaren Funktionen liegen soll.

Khinchins schwaches Gesetz der großen Zahlen

Sind ${\displaystyle (X_{n})_{n\in \mathbb {N} }}$ unabhängig identisch verteilte Zufallsvariablen mit endlichem Erwartungswert, so genügt die Folge dem schwachen Gesetz der großen Zahlen.

Dieser Satz wurde 1929 von Alexander Jakowlewitsch Chintschin (alternative Transkriptionen aus dem Russischen Khintchine oder Khinchin) bewiesen und zeichnet sich dadurch aus, dass er die erste Formulierung eines schwachen Gesetzes der großen Zahlen liefert, die ohne die Voraussetzung einer endlichen Varianz auskommt.

L¹-Version des schwachen Gesetzes der großen Zahlen

Sei ${\displaystyle (X_{n})_{n\in \mathbb {N} }}$ eine Folge von paarweise unabhängigen Zufallsvariablen, die identisch verteilt sind und einen endlichen Erwartungswert besitzen. Dann genügt ${\displaystyle (X_{n})_{n\in \mathbb {N} }}$ dem schwachen Gesetz der großen Zahlen.

Diese Aussage ist eine echte Verbesserung gegenüber dem schwachen Gesetz der großen Zahlen von Khinchin, da aus paarweiser Unabhängigkeit von Zufallsvariablen nicht die Unabhängigkeit der gesamten Folge von Zufallsvariablen folgt.

Versionen mit endlicher Varianz

Die Beweise der Versionen des schwachen Gesetzes der großen Zahlen, welche die Endlichkeit der Varianz als Voraussetzung benötigen, beruhen im Kern auf der Tschebyscheff-Ungleichung

${\displaystyle \operatorname {P} \left[\left|Y-\operatorname {E} (Y)\right|\geq \epsilon \right]\leq {\frac {\operatorname {Var} (Y)}{\epsilon ^{2}}}}$,

hier für die Zufallsvariable ${\displaystyle Y}$ formuliert.

Der Beweis von Bernoullis Gesetz der großen Zahlen ist somit elementar möglich: Gilt für ${\displaystyle X_{n}\sim \operatorname {B} (p)}$, so ist ${\displaystyle S_{n}}$ binomialverteilt, also ${\displaystyle S_{n}\sim \operatorname {Bin} (n,p)}$. Damit ist

${\displaystyle \operatorname {E} (M_{n})={\tfrac {1}{n}}\operatorname {E} (S_{n})={\frac {np}{n}}=p\quad {\text{ und }}\quad \operatorname {Var} (M_{n})=\operatorname {Var} ({\tfrac {1}{n}}S_{n})={\frac {1}{n^{2}}}\operatorname {Var} (S_{n})={\frac {np(1-p)}{n^{2}}}={\frac {p(1-p)}{n}}}$.

Wendet man nun die Tschebyscheff-Ungleichung auf die Zufallsvariable ${\displaystyle M_{n}}$ an, so folgt

${\displaystyle P\left(\left|{\frac {1}{n}}\sum _{i=1}^{n}(X_{i}-\operatorname {E} (X_{i}))\right|\geq \epsilon \right)=P\left(\left|M_{n}-\operatorname {E} (M_{n})\right|\geq \epsilon \right)\leq {\frac {p(1-p)}{\epsilon ^{2}n}}\to 0}$

für ${\displaystyle n\to \infty }$ und alle ${\displaystyle \epsilon >0}$.

Analog folgt der Beweis von Tschebyscheffs schwachem Gesetz der großen Zahlen. Ist ${\displaystyle \operatorname {E} (X_{n})=\mu }$ und ${\displaystyle \operatorname {Var} (X_{n})=\sigma ^{2}<\infty }$, ist aufgrund der Linearität des Erwartungswertes

${\displaystyle \operatorname {E} (M_{n})={\tfrac {1}{n}}\operatorname {E} (S_{n})={\frac {n\mu }{n}}=\mu }$.

Die Identität

${\displaystyle \operatorname {Var} (M_{n})=\operatorname {Var} ({\tfrac {1}{n}}S_{n})={\frac {1}{n^{2}}}\operatorname {Var} (S_{n})={\frac {n\sigma ^{2}}{n^{2}}}={\frac {\sigma ^{2}}{n}}}$

folgt aus der Gleichung von Bienaymé und der Unabhängigkeit der Zufallsvariablen. Der weitere Beweis folgt wieder mit der Tschebyscheff-Ungleichung, angewandt auf die Zufallsvariable ${\displaystyle M_{n}}$.

Zum Beweis der ${\displaystyle L^{2}}$-Version geht man o.B.d.A. davon aus, dass alle Zufallsvariablen den Erwartungswert 0 haben. Aufgrund der paarweisen Unkorreliertheit gilt die Gleichung von Bienaymé noch, es ist dann

${\displaystyle \operatorname {Var} (M_{n})={\frac {\sum _{i=1}^{n}\operatorname {Var} (X_{i})}{n^{2}}}}$.

Durch Anwendung der Tschebyscheff-Ungleichung erhält man

${\displaystyle \operatorname {P} \left[\left|M_{n}\right|\geq \epsilon \right]\leq {\frac {\operatorname {Var} (M_{n})}{\epsilon ^{2}}}={\frac {\sum _{i=1}^{n}\operatorname {Var} (X_{i})}{n^{2}\epsilon ^{2}}}\rightarrow 0}$.

für ${\displaystyle n\to \infty }$ nach der Voraussetzung an die Varianzen.

Khinchins schwaches Gesetz der großen Zahlen

Verzichtet man auf die endliche Varianz als Voraussetzung, so steht die Tschebyscheff-Ungleichung zum Beweis nicht mehr zur Verfügung.

Der Beweis erfolgt stattdessen mithilfe von charakteristischen Funktionen. Ist ${\displaystyle \operatorname {E} (X_{n})=\mu }$, so folgt mit den Rechenregeln für die charakteristischen Funktionen und der Taylor-Entwicklung, dass

${\displaystyle \varphi _{M_{n}}(t)=\left(\varphi _{X_{1}}\left({\tfrac {t}{n}}\right)\right)^{n}=\left(1+{\frac {i\mu t+n{\hbox{o}}\left({\tfrac {t}{n}}\right)}{n}}\right)^{n}}$,

was für ${\displaystyle n\to \infty }$ aufgrund der Definition der Exponentialfunktion gegen ${\displaystyle \exp(i\mu t)}$ konvergiert, der charakteristischen Funktion einer Dirac-verteilten Zufallsvariable. Also konvergiert ${\displaystyle M_{n}}$ in Verteilung gegen eine Dirac-verteilte Zufallsvariable im Punkt ${\displaystyle \mu }$. Da aber diese Zufallsvariable fast sicher konstant ist, folgt auch die Konvergenz in Wahrscheinlichkeit der ${\displaystyle M_{n}}$ gegen ${\displaystyle \mu }$, was zu zeigen war.

Allgemeinere Formulierung

Etwas allgemeiner sagt man, dass die Folge der Zufallsvariablen dem schwachen Gesetz der großen Zahlen genügt, wenn es reelle Folgen ${\displaystyle (b_{n})_{n\in \mathbb {N} }}$ mit ${\displaystyle \lim _{n\to \infty }b_{n}=\infty }$ und ${\displaystyle (a_{n})_{n\in \mathbb {N} }}$ gibt, so dass für die Partialsumme

${\displaystyle S_{n}:=\sum _{i=1}^{n}X_{i}}$

die Konvergenz

${\displaystyle {\frac {S_{n}}{b_{n}}}-a_{n}\rightarrow 0}$

in Wahrscheinlichkeit gilt.

Mit dieser Formulierung lassen sich auch Konvergenzaussagen treffen, ohne dass die Existenz der Erwartungswerte vorausgesetzt werden muss.

Speziellere Formulierung

Manche Autoren betrachten die Konvergenz in Wahrscheinlichkeit der gemittelten Partialsummen ${\displaystyle {\frac {1}{n}}\sum _{i=1}^{n}X_{i}}$ gegen ${\displaystyle \operatorname {E} (X_{0})}$. Diese Formulierung setzt jedoch voraus, dass alle Zufallsvariablen denselben Erwartungswert haben.