Allgemeine Wahrscheinlichkeitstheorie

Bisher beschränkten wir uns auf ein abzählbares ${\displaystyle \Omega }$ (Vermeidung technischer Schwierigkeiten). Es gibt jedoch Zufallsexperimente, für welche ein überabzählbares ${\displaystyle \Omega }$ angemessen ist.

1. Messung einer physikalischen Größe mit einer großen Genauigkeit. (${\displaystyle \Omega =\mathbb {R} }$)

2. Exakter Zeitpunkt des Eintretens eines Erdbebenstoßes oder eines Telefonanrufs. (${\displaystyle \Omega =\mathbb {R} _{+}}$)

3. Idealisiertes "stetiges" Roulette. (${\displaystyle \Omega =[0,2\pi [}$) - Winkel statt diskrete Anzahl an Kreissektoren

4. Pseudo-Zufallszahlen. (${\displaystyle \Omega =[0,1]}$)

In Beispiel 4. verlangen wir intuitiv von einer Wahrscheinlichkeitsverteilung ${\displaystyle P}$ auf ${\displaystyle [0,1]}$: ${\displaystyle P([a,b])=b-a,\quad 0\leq a\leq b\leq 1}$, insbesondere

(*) ${\displaystyle P(\lbrace w\rbrace )=0}$.

Das mathematische Problem besteht nun darin, dass es keine Abbildung ${\displaystyle P:{\mathcal {S}}([0,1])\to [0,1]}$ gibt, die normiert und ${\displaystyle \sigma }$-additiv ist und (*) erfüllt (Maßproblem).

Statt auf ganz ${\displaystyle {\mathcal {S}}(\Omega )}$ das Maß zu definieren, schränkt man ${\displaystyle P}$ auf einem Teilsystem der Potenzmenge von ${\displaystyle [0,1]}$, die dann nur bestimmte Teilmengen ${\displaystyle A\subset \Omega }$ enthält. Das Teilsystem ${\displaystyle {\mathcal {S}}\subset {\mathcal {S}}(\Omega )}$. ${\displaystyle {\mathcal {S}}}$ soll dann aber so beschaffen sein, dass die üblichen Mengenoperationen ${\displaystyle \cap ,\cup ,...}$ nicht aus ${\displaystyle {\mathcal {S}}}$ herausführen.

Wenn man das Maß von Teilmengen ${\displaystyle A_{1},A_{2},\ldots }$ aus der Potenzmenge von ${\displaystyle \Omega }$ kennt, möchte man auch von Vereinigungen, Schnitten und Komplemente der Mengen die Maß angeben können. Damit dies überhaupt machtbar ist, müssen diese Mengenoperationen wieder Elemente aus dem Definitionsbereich des Maßes liefern. Aus diesen Anforderungen ergibt sich die Definition der ${\displaystyle \sigma }$-Algebra.

Ist ${\displaystyle \Omega }$ eine beliebige, nichtleere Menge, so heißt ein Mengensystem ${\displaystyle {\mathcal {S}}\subset {\mathcal {S}}(\Omega )}$ eine ${\displaystyle \sigma }$-Algebra über ${\displaystyle \Omega }$, wenn gilt

a) ${\displaystyle \Omega \in {\mathcal {S}}}$

b) ${\displaystyle A\in {\mathcal {S}}\Rightarrow {\bar {A}}\in {\mathcal {S}}}$

c) ${\displaystyle A_{1},A_{2},...\in {\mathcal {S}}\Rightarrow \cup _{i=1}^{\infty }A_{i}\in {\mathcal {U}}}$

1. Es ist ${\displaystyle \varnothing ={\bar {\Omega }}\in {\mathcal {S}}}$

2. ${\displaystyle A_{1},A_{2},...\in {\mathcal {S}}\Rightarrow \cap _{i=1}^{\infty }A_{i}=\cup _{i=1}^{\infty }{\bar {A}}_{i}\in {\mathcal {S}}}$

3. In c) bzw 2. können wir auch ${\displaystyle \cup _{i=1}^{\infty }}$ bzw. ${\displaystyle \cap _{i=1}^{\infty }}$ einsetzen. Setze ${\displaystyle A_{n+1}=A_{n+2}=...=\varnothing }$ bzw. ${\displaystyle A_{n+1}=A_{n+2}=...=\Omega }$.

4. ${\displaystyle {\mathcal {B}}(\Omega )}$ ist eine ${\displaystyle \sigma }$-Algebra ('größte'), ${\displaystyle \lbrace \varnothing ,\Omega \rbrace }$ ist eine ${\displaystyle \sigma }$-Algebra ('kleinste').

5. Ist ${\displaystyle {\mathcal {I}}\subset {\mathcal {S}}(\Omega )}$ ein vorgegebenes Mengensystem, so existiert unter den ${\displaystyle \sigma }$-Algebraen, die ${\displaystyle {\mathcal {I}}}$ umfassen, eine kleinste ${\displaystyle \sigma }$-Algebra (!). Wir nennen sie die von ${\displaystyle {\mathcal {I}}}$ erzeugte ${\displaystyle \sigma }$-Algebra ${\displaystyle \sigma ({\mathcal {I}})}$. ${\displaystyle {\mathcal {I}}}$heißt dann Erzeugendensystem von ${\displaystyle \sigma ({\mathcal {I}})}$.

6. Ein Paar ${\displaystyle (\Omega ,{\mathcal {S}})}$, ${\displaystyle {\mathcal {S}}}$ ${\displaystyle \sigma }$-Algebra über ${\displaystyle \Omega }$, heißt messbarer Raum.

Ein Triplet ${\displaystyle (\Omega ,{\mathcal {S}},P)}$ heißt (allgemeiner) Wahrscheinlichkeitsraum, falls

a) ${\displaystyle \Omega }$ nichtleere Menge

b) ${\displaystyle {\mathcal {S}}}$ ${\displaystyle \sigma }$-Algebra über ${\displaystyle \Omega }$

c) ${\displaystyle P:{\mathcal {S}}\to [0,1]}$ mit

(i) ${\displaystyle P(\Omega )=1}$

(ii) ${\displaystyle P(\cup _{i=1}^{\infty }A_{i})=\sum _{i=1}^{\infty }P(A_{i})}$ für paarweise disjunkte ${\displaystyle A_{1},A_{2},...\in {\mathcal {S}}}$

1. ${\displaystyle P}$ heißt Wahrscheinlichkeitsverteilung auf ${\displaystyle (\Omega ,{\mathcal {S}})}$. Auch die übrigen Bezeichnungen vom Beginn der Vorlesung sind weiterhin gültig, wenn man ${\displaystyle {\mathcal {S}}(\Omega )}$ durch die ${\displaystyle \sigma }$-Algebra ${\displaystyle {\mathcal {S}}}$ ersetzt (${\displaystyle A\in {\mathcal {S}}}$ statt ${\displaystyle A\in \Omega }$ (oder ${\displaystyle A\in {\mathcal {S}}(\Omega )}$)).

2. Der diskrete Wahrscheinlichkeitsraum ergibt sich als Spezialfall der Definition: ${\displaystyle \Omega }$ abzählbar, ${\displaystyle {\mathcal {S}}={\mathcal {S}}(\Omega )=\sigma \lbrace \lbrace w\rbrace w\in \Omega \rbrace }$.

Konstruktion der Borelschen ${\displaystyle \sigma }$-Algebra über ${\displaystyle \Omega =\mathbb {R} ^{k},k\geq 1}$. Das Mengensystem ${\displaystyle {\mathcal {I}}^{k}\subset {\mathcal {S}}(\mathbb {R} ^{k})}$ bestehe aus allen k-dimensionalen Intervallen. Für ${\displaystyle a=(a_{1},...a_{k}),b=(b_{1},...,b_{k})\in \mathbb {R} ^{k}}$ (d.h. ${\displaystyle a_{i}=-\infty }$ und ${\displaystyle b_{i}=+\infty }$ sind zugelassen) mit ${\displaystyle a<b}$ (d.h. ${\displaystyle a_{i}<b_{i}}$ für ${\displaystyle i=1,...,k}$) definiert man das k-dimensionale Intervall ${\displaystyle (a,b]=\otimes _{i=1}^{n}(a_{i},b_{i}]=\lbrace x\in \mathbb {R} ^{k}:a_{i}<x_{i}<b_{i}}$, für ${\displaystyle i=1,...,k\rbrace }$.
Man führt das Mengensystem ${\displaystyle {\mathcal {I}}^{k}=\lbrace (a,b],a<b\rbrace }$ ein (beachte ${\displaystyle \mathbb {R} ^{k}\in {\mathcal {I}}^{k}}$).
Sei ${\displaystyle {\mathcal {B}}^{k}=\sigma ({\mathcal {I}}^{k})}$ die kleinste ${\displaystyle \sigma }$-Algebra, die alle ${\displaystyle k}$-dimensionalen Intervalle auf ${\displaystyle {\mathcal {I}}^{k}}$ enthält. ${\displaystyle {\mathcal {B}}}$ heißt ${\displaystyle \sigma }$-Algebra der Borelschen Mengen oder kurz Borelsche ${\displaystyle \sigma }$-Algebra.

Satz aus der Topologie/Maßtheorie:

a) Die ${\displaystyle \sigma }$-Algebra ${\displaystyle {\mathcal {B}}^{k}}$ der Borelschen Mengen enthält alle offenen und alle abgeschlossenen Mengen des ${\displaystyle \mathbb {R} ^{k}}$.

b) Es gibt nicht-Borelsche Mengen des ${\displaystyle \mathbb {R} ^{k}}$.

c) ${\displaystyle {\mathcal {B}}^{k}}$ wir auch erzeugt von jedem der drei folgenden Mengensystemen:

• das System der offenen Intervalle ${\displaystyle (a,b)}$ des ${\displaystyle \mathbb {R} ^{k}}$.
• das System der abgeschlossenen Intervalle ${\displaystyle [a,b]}$ des ${\displaystyle \mathbb {R} ^{k}}$.
• das System der links abgeschlossenen und rechts offenen Mengen ${\displaystyle [a,b)}$ des ${\displaystyle \mathbb {R} ^{k}}$.
  

Zur Festlegung einer Wahrscheinlichkeitsverteilung ${\displaystyle P}$ auf ${\displaystyle \mathbb {R} ^{k}}$ braucht man nicht alle ${\displaystyle P(B),B\in {\mathcal {B}}^{k}}$ auf allen Intervallen. Es gilt nämlich folgender Satz.

Sei ${\displaystyle {\tilde {P}}:{\mathcal {I}}^{k}\to [0,1]}$ eine Abbildung, so dass gilt:

i) ${\displaystyle {\tilde {P}}(\mathbb {R} ^{k})=1}$

ii) ${\displaystyle {\tilde {P}}(\cup _{i=1}^{\infty }I_{i})=\sum _{i=1}^{\infty }{\tilde {P}}(I_{i})}$ für paarweise disjunkte ${\displaystyle I_{1},I_{2},...\in {\mathcal {I}}^{k}}$ mit ${\displaystyle \cup _{i=1}^{\infty }I_{i}\in {\mathcal {I}}^{k}}$

Dann existiert genau eine Wahrscheinlichkeitsverteilung ${\displaystyle P}$ auf ${\displaystyle {\mathcal {B}}^{k}}$, so dass ${\displaystyle P|{\mathcal {I}}^{k}={\tilde {P}}}$ (d.h. ${\displaystyle P(I)={\tilde {P}}(I)}$ für alle ${\displaystyle I\in {\mathcal {I}}^{k}}$). (${\displaystyle P}$ heißt Fortsetzung von ${\displaystyle {\tilde {P}}}$ auf ganz ${\displaystyle {\mathcal {B}}^{k}}$.)

Öfter ist nun eine Teilmenge von ${\displaystyle \mathbb {R} ^{k}}$ als Ergebnisraum ${\displaystyle \Omega }$ von Interesse (z.B.: ${\displaystyle \Omega =[0,1]^{k}}$ ). Dann werden alls Größen auf ${\displaystyle \Omega \subset \mathbb {R} ^{k}}$ eingeschränkt: ${\displaystyle \Omega \cap {\mathcal {I}}^{k}=\lbrace \Omega \cap I,I\in {\mathcal {I}}^{k}\rbrace }$ statt ${\displaystyle {\mathcal {I}}^{k}}$; ${\displaystyle \Omega \cap {\mathcal {B}}^{k}=\lbrace \Omega \cap {\mathcal {B}}^{k},B\in {\mathcal {B}}^{k}\rbrace }$ statt ${\displaystyle {\mathcal {B}}^{k}}$('Borelsche Mengen in ${\displaystyle \Omega }$'); ${\displaystyle P|\Omega \cap {\mathcal {B}}^{k}}$ statt ${\displaystyle P}$ ('Restriktion von ${\displaystyle P}$ auf ${\displaystyle \Omega \cap {\mathcal {B}}^{k}}$'). ${\displaystyle (\Omega ,\Omega \cap {\mathcal {B}}^{k},P|\Omega \cap {\mathcal {B}}^{k})}$ bilden einen Wahrscheinlichkeitsraum.

${\displaystyle \Omega =[0,2\pi ),\Omega \cap {\mathcal {I}}^{1}=\lbrace (a,b],0\leq a<b\leq 2\pi \rbrace }$.

Durch ${\displaystyle {\tilde {P}}(a,b]={\frac {b-a}{2\pi }}}$ wird auf ${\displaystyle \Omega \cap {\mathcal {I}}^{1}}$ eine Abbildung in ${\displaystyle [0,1]}$ definiert, welche die Eigenschaften i) und ii) des Fortsetzungssatzes erfüllt.

${\displaystyle {\tilde {P}}}$ legt eine Wahrscheinlichkeitsverteilung ${\displaystyle P}$ auf ${\displaystyle \Omega \cap {\mathcal {B}}^{1}}$ fest ('Gleichverteilung auf ${\displaystyle [0,2\pi )}$').

Zeitpunkt des Auftretens eines Ereignisses ${\displaystyle \Omega =[0,\infty )}$; durch ${\displaystyle {\tilde {P}}(a,b]=e^{-\lambda a}e^{-\lambda b},0\leq a\leq b\leq \infty }$ (${\displaystyle \lambda >0}$ fest) wird eine Wahrscheinlichkeitsverteilung ${\displaystyle P}$ auf ${\displaystyle [0,\infty )\cap {\mathcal {B}}^{1}\equiv {\mathcal {B}}_{+}^{1}}$ festgelegt ('Exponentialverteilung mit Paramter ${\displaystyle \lambda }$ ').

Zukünftig schreiben wir statt ${\displaystyle {\tilde {P}}}$ ebenfalls ${\displaystyle P}$.

Die Unabhängigkeit von Ereignissen ${\displaystyle A_{1},...,A_{n}\in {\mathcal {S}}}$ in einem Wahrscheinlichkeitsraum ${\displaystyle (\Omega ,{\mathcal {S}},P)}$ definiert man wie bereits geschehen durch die Eigenschaft: ${\displaystyle P(A_{j_{1}}\cap ...\cap A_{j_{k}})=P(A_{j_{1}})\cdot ...\cdot P(A_{j_{k}})}$ für alle ${\displaystyle \varnothing \neq \lbrace j_{1},...,j_{k}\rbrace \subset \lbrace 1,...,n\rbrace }$. Sind ${\displaystyle P_{1},...P_{k}}$ Wahrscheinlichkeitsverteilungene auf ${\displaystyle (\mathbb {R} ,{\mathcal {B}}^{1})}$, so heißt die Wahrscheinlichkeitsverteilung ${\displaystyle P}$ auf ${\displaystyle (\mathbb {R} ^{k},{\mathcal {B}}_{j}^{k})}$ Produkt der ${\displaystyle P_{1},...,P_{k}}$, kurz ${\displaystyle P=P_{1}\times ...\times P_{k}}$, falls ${\displaystyle P(B_{1}\times ...\times B_{k})=P_{1}(B_{1})\cdot ...\cdot P_{k}(B_{k})}$ für alle ${\displaystyle B_{1},...,B_{k}\in {\mathcal {B}}^{1}}$.

Der Begriff des Produktes von (allgemeinen) Wahrscheinlichkeitsräumen ${\displaystyle (\Omega _{i},{\mathcal {S}}_{i},P_{i})}$, ${\displaystyle i=1,...,n}$ verlangt den Begriff der Produkt-${\displaystyle \sigma }$-Algebra ${\displaystyle {\mathcal {U}}={\mathcal {S}}_{1}\times ...\times {\mathcal {S}}_{k}}$. Wir beschränken uns auf den Spezialfall ${\displaystyle {\mathcal {S}}_{i}={\mathcal {B}}^{1},{\mathcal {U}}={\mathcal {B}}^{k}}$, für den wir diesen Begriff nicht benötigen.

Der Begriff ${\displaystyle P(B|A)}$, falls ${\displaystyle P(A)>0}$, der (elementaren) bedingten Wahrscheinlichkeit, und die Formel von der totalen Wahrscheinlichkeit, Bayessche Formel, Produkt gelten auf die Wahrscheinlichkeitsräume ${\displaystyle (\Omega ,{\mathcal {S}},P)}$, falls alle auftretenden Ereignisse ${\displaystyle A,B,A_{1},...,A_{m}}$ aus ${\displaystyle {\mathcal {S}}}$ genommen werden. Der allgemeine Begriff der bedingten Wahrscheinlichkeitsverteilung und des bedingten Erwartungswertes werden hier nicht gebraucht.

Zunächst Beschränkung auf den Wahrscheinlichkeitsraum ${\displaystyle (\mathbb {R} ,{\mathcal {B}}^{1},P)}$. Zur Festlegung von Wahrscheinlichkeitsverteilungen auf ${\displaystyle (\mathbb {R} ,{\mathcal {B}}^{1})}$ (bzw. auf ${\displaystyle (\mathbb {R} \cap \Omega ,{\mathcal {B}}^{1}\cap \Omega )}$) reicht es aus, wegen ${\displaystyle (a,b]=(-\infty ,b]\setminus (-\infty ,a]}$ und ${\displaystyle P(a,b]=P(-\infty ,b]-P(-\infty ,a]}$, alleine die Funktion ${\displaystyle F(t)=P(-\infty ,t],t\in \mathbb {R} }$ zu betrachten.

Sei ${\displaystyle P}$ eine Wahrscheinlichkeitsverteilung auf ${\displaystyle (\mathbb {R} ,{\mathcal {B}}^{1})}$. Dann heißt die Funktion ${\displaystyle F_{P}:\mathbb {R} \to [0,1],F_{P}(t)=P(-\infty ,t],t\in \mathbb {R} }$, (kumulative) Verteilungsfunktion von ${\displaystyle P}$.

(Im Folgenden sei ${\displaystyle F(t+)=lim_{s\downarrow t}F(s),F(t-)=lim_{s\uparrow t}F(s)}$ , (falls existiert).)

Sei ${\displaystyle F(t)\equiv F_{P}(t),t\in \mathbb {R} }$, Verteilungsfunktion von ${\displaystyle P}$. Dann gilt:

i) ${\displaystyle F(t)}$ ist (nicht notwendig streng) monoton wachsend, ${\displaystyle 0\leq F(t)\leq 1}$.

ii) ${\displaystyle F(t+)=F(t)}$ ("rechtsseitig stetig")

iii) ${\displaystyle F(t-)=F(t)-P(\lbrace w\rbrace )}$

iv) ${\displaystyle lim_{t\to -\infty }F(t)=0,lim_{t\to \infty }F(t)=1}$

i) Monotonieeigenschaft von ${\displaystyle P}$.

ii) Sei ${\displaystyle t_{n}\downarrow t(t_{n}>t)}$. Zerlege ${\displaystyle (t,t_{n}]=\bigcup _{i=n}^{\infty }(t_{i+1},t_{i}]}$. Dann ist

${\displaystyle F(t+)=lim_{n\to \infty }F(t_{n})=lim_{n\to \infty }[F(t)+P(t,t_{n}]]}$

${\displaystyle =lim_{n\to \infty }[F(t)+\sum _{i=n}^{\infty }P(t_{i+1},t_{i}]]=F(t)+0}$

da die Reihe ${\displaystyle \sum _{i=1}^{\infty }P(t_{i+1},t_{i}]=P(t,t_{1}]<\infty }$ konvergiert.

iii) Sei ${\displaystyle t_{n}\uparrow t(t_{n}<t)}$. Zerlege ${\displaystyle (t_{1},t_{n}=\bigcup _{i=1}^{n-1}(t_{i},t_{i+1}]}$. Dann ist

${\displaystyle F(t-)=lim_{n\to \infty }F(t_{n})=lim_{n\to \infty }[F(t_{1})+P(t_{1},t_{n}]]}$

${\displaystyle =lim_{n\to \infty }[F(t_{1}1)+\sum _{i=1}^{n-1}P(t_{i},t_{i+1}]]}$

${\displaystyle =F(t_{1})+P(\bigcup _{i=1}^{\infty }(t_{i},t_{i+1}])=F(t_{1})+P(t_{1},t)}$

${\displaystyle =P(-\infty ,t)=F(t)-P(\lbrace w\rbrace )}$

iv) Analog zu ii) und iii).

Die Limiten in ii), iii), iv) existieren wegen i).

Im Folgenden bezeichne ${\displaystyle \langle a,b\rangle }$ für ${\displaystyle -\infty \leq a<b\leq \infty }$ eines der Intervalle ${\displaystyle [a,b],(a,b),[a,b),(a,b]}$. Wobei im Fall ${\displaystyle a=-\infty }$ nur ${\displaystyle (-\infty ,b\rangle }$ und im Fall ${\displaystyle b=\infty }$ nur ${\displaystyle \langle a,\infty )}$ zugelassen wird.

Sei ${\displaystyle F}$ Verteilungsfunktion von ${\displaystyle P}$.

• ${\displaystyle P(a,b]=F(b)-F(a)}$, inbesondere ${\displaystyle P(-\infty ,b)=F(b)}$.
• ${\displaystyle P(a,b)=F(b-)-F(a)}$, inbesondere ${\displaystyle P(a,\infty )=1-F(a)}$.
• ${\displaystyle P[a,b]=P(b)-P(a-)}$.
• ${\displaystyle [a,b)=F(b-)-F(a-)}$.

1. Falls ${\displaystyle F}$ bei ${\displaystyle a}$ stetig und ${\displaystyle F}$ auf dem Intervall ${\displaystyle [a,b]}$ konstant ist, so ist ${\displaystyle P[a,b]=0}$.

2. Zusammen mit dem Fortsetzungssatz folgt, dass ${\displaystyle P}$ durch Vorgabe einer Verteilungsfunktion (d.i. eine Funktion ${\displaystyle F(t),t\in \mathbb {R} }$, mit den Eigenschaften i), ii), iv)) eindeutig festgelegt wird, wenn man setzt ${\displaystyle P(a,b]=F(b)-F(a)}$.

Im Fall der Exponentialverteilung aus dem Beispiel 1.5.3, bei der ${\displaystyle F(t)=\left\{{\begin{array}{ll}0,&t<0\\\lambda e^{-\lambda t},&t\geq 0\end{array}}\right.}$ ist, stellt man fest, dass ${\displaystyle F'=f}$ bzw. ${\displaystyle F(t)=\int _{-\infty }^{t}f(x)dx}$, mit ${\displaystyle f(x)=\left\{{\begin{array}{ll}0,&x<0\\\lambda e^{-\lambda t},&x\geq 0\end{array}}\right.}$.

Sei ${\displaystyle F_{P}(t),t\in \mathbb {R} }$, Verteilungsfunktion von ${\displaystyle P}$. Existiert dann eine messbare Funktion ${\displaystyle f_{P}:\mathbb {R} \to [0,\infty )}$ mit ${\displaystyle F_{P}(t)=\int _{-\infty }^{\infty }f_{P}(x)dx}$ für alle ${\displaystyle t\in \mathbb {R} }$, so heißt ${\displaystyle f_{P}(x),x\in \mathbb {R} }$, Wahrscheinlichkeitsdichte oder kurz Dichte von ${\displaystyle P}$.

1. Das Integral ${\displaystyle \int _{-\infty }^{\infty }}$ lässt sich als uneigentliches Riemann-Integral oder als Lebesgue-Integral auffassen. Der Begriff 'messbar' wird später erläutert.

2. Ist die stetige Verteilungsfunktion ${\displaystyle F}$ auf ${\displaystyle \mathbb {R} \setminus D}$ (${\displaystyle D}$ leer oder endlich) stetig differenzierbar, so besitzt ${\displaystyle F}$ die Dichte ${\displaystyle f(x)=F'(x),x\in \mathbb {R} \setminus D}$, (${\displaystyle f(x)}$ auf ${\displaystyle D}$ beliebig festgelegt).

3. Besitzt ${\displaystyle F}$ eine Dichte, so ist ${\displaystyle F(t),t\in \mathbb {R} }$ stetig (d.h. ${\displaystyle F(t)=F(t+)=F(t-)}$) und die Formeln für ${\displaystyle P\langle a,b\rangle }$ liefert für alle vier Intervalltypen die Formel ${\displaystyle P\langle a,b\rangle =F(b)-F(a)}$.

Besitzt eine Wahrscheinlichkeitsverteilung ${\displaystyle P}$ auf ${\displaystyle (\mathbb {R} ,{\mathcal {B}})}$ eine Dichte ${\displaystyle f=f_{P}}$, so gilt:

${\displaystyle P\langle a,b\rangle =\int _{a}^{b}f(x)dx}$

Insbesondere gilt:

${\displaystyle \int _{-\infty }^{\infty }f(x)dx=1}$

Folgt direkt aus Bemerkung 3.

1. Wir können also eine Dichte ${\displaystyle f}$ durch die Eigenschaft ${\displaystyle f:\mathbb {R} \in [0,\infty )}$, ${\displaystyle f}$ integrierbar mit ${\displaystyle \int _{-\infty }^{\infty }f(x)dx=1}$ festlegen.

2. Durch Vorgabe einer Dichte ${\displaystyle f}$ ist eine Wahrscheinlichkeitsverteilung ${\displaystyle P}$ auf ${\displaystyle (\mathbb {R} ,{\mathcal {B}})}$ eindeutig festgelegt.

3. Der Begriff der Dichte spielt im Fall ${\displaystyle \Omega =\mathbb {R} }$ die gleiche Rolle wie der Begriff der Wahrscheinlichkeitsfunktion im Falle eines abzählbaren ${\displaystyle \Omega }$ (nur: eine Dichte braucht nicht notwendigerweise zu existieren!).

Gleichverteilung auf dem Intervall ${\displaystyle \Omega =[A,B]\subset \mathbb {R} ,A<B}$.

Dichte:

${\displaystyle f(x)=\left\{{\begin{array}{ll}0,&x\notin [A,B]\\{\frac {1}{B-A}},&x\in [A,B]\end{array}}\right.}$

Verteilungsfunktion:

${\displaystyle F(x)=\left\{{\begin{array}{ll}0,&x<A\\{\frac {x-A}{B-A}},&A\leq x\leq B\\1,&x>B\end{array}}\right.}$

Exponentialverteilung mit dem Parameter ${\displaystyle \lambda >0}$:

Dichte:

${\displaystyle f(x)=\left\{{\begin{array}{ll}0,&x<0\\\lambda e^{-\lambda x},&x\geq 0\end{array}}\right.}$

Verteilungsfunktion:

${\displaystyle F(x)=\left\{{\begin{array}{ll}0,&x<0\\1-e^{-\lambda e},&x\geq 0\end{array}}\right.}$

Verwendung:

Wartezeit (bis zum Eintreten eines Ereignisses).

Diskrete Verteilung auf ${\displaystyle \lbrace x_{1},x_{2},...\rbrace \subset \mathbb {R} }$ (oder ${\displaystyle \lbrace x_{1},...,x_{n}\rbrace \subset \mathbb {R} }$ ) mit vorgegebener Wahrscheinlichkeitsfunktion ${\displaystyle P\lbrace x_{i}\rbrace }$. Setze für ${\displaystyle A\in {\mathcal {B}}^{1}}$

${\displaystyle P(A)=\sum _{i,x_{i}\leq x}P(\lbrace x_{i}\rbrace )}$

${\displaystyle P}$ bildet ein Wahrscheinlichkeitsmaß auf ${\displaystyle (\mathbb {R} ,{\mathcal {B}})}$, mit der Verteilungsfunktion:

${\displaystyle F(x)=\sum _{i:x_{i}\leq x}P(\lbrace x_{i}\rbrace )}$

Es existiert jedoch keine Dichte!

Normalverteilung mit Parametern ${\displaystyle \mu }$ und ${\displaystyle \sigma ^{2},\mu \in \mathbb {R} ,\sigma ^{2}>0}$:

Dichte:

${\displaystyle \phi _{\mu ,\sigma ^{2}}(x)={\frac {1}{{\sqrt {2\pi }}\sigma }}e^{{\frac {1}{2}}\cdot ({\frac {x-\mu }{\sigma }})^{2}}}$

Verteilungsfunktion:

${\displaystyle \Phi _{\mu ,\sigma ^{2}}(x)=\int _{-\infty }^{x}\phi _{\mu ,\sigma ^{2}}(t)dt}$

Abkürzung: ${\displaystyle N(\mu ,\sigma ^{2})}$

Verwendung: Symmetrisch um einen 'wahren' Wert ${\displaystyle \mu }$ streuende Messgröße.

Spezialfall: ${\displaystyle N(0,1)}$ 'Standard-Normalverteilung', man schreibt ${\displaystyle \phi =\phi _{0,1},\Phi =\Phi _{0,1}}$.

${\displaystyle \phi _{\mu ,\sigma ^{2}}(x)={\frac {1}{\sigma }}\phi ({\frac {x-\mu }{\sigma }}),\Phi _{\mu ,\sigma ^{2}}(x)=\Phi ({\frac {x-\mu }{\sigma }})}$ (Substitutionsregel)

Aus dieser Beziehung folgt:

${\displaystyle \int _{-\infty }^{\infty }\phi _{\mu ,\sigma ^{2}}(x)dx=\Phi _{\mu ,\sigma ^{2}}(\infty )=\Phi (\infty )=\int _{-\infty }^{\infty }\phi (x)dx=1,}$

so dass ${\displaystyle \phi _{\mu ,\sigma ^{2}}}$ eine Dichte ist.

Das Konzept der Dichte lässt sich auch im Fall ${\displaystyle \Omega =\mathbb {R} ^{k}}$ verwirklichen. Eine Dichte im ${\displaystyle \mathbb {R} ^{k}}$ ist eine nicht negative (aber messbare) Funktion ${\displaystyle f(x)=f(x_{1},...,x_{k}),x\in \mathbb {R} }$ mit (Integrierbarkeit vorausgesetzt):

${\displaystyle \int _{\mathbb {R} ^{k}}f(x_{1},...,x_{k})d^{k}x=1}$

Für ein ${\displaystyle B\in {\mathcal {B}}^{k}}$ definiert man

${\displaystyle \int _{B}f(x_{1},...,x_{k})d^{k}x=\int _{\mathbb {R} ^{k}}f(x)d^{k}x=\int _{\mathbb {R} ^{k}}1_{B}(x)f(x)d^{k}x.}$

Wir benötigen den folgenden Satz der Integrationstheorie.

Ist ${\displaystyle f\geq 0}$ eine integrierbare Funktion auf dem ${\displaystyle \mathbb {R} ^{k}}$, so wird durch ${\displaystyle B\mapsto \int _{B}f(x)d^{k}x,b\in {\mathcal {B}}^{k}}$ eine ${\displaystyle \sigma }$-additive Abbildung von ${\displaystyle {\mathcal {B}}^{k}}$ in ${\displaystyle [0,\infty )}$ definiert. D.h. für paarweise disjunkte ${\displaystyle B_{1},...,B_{k}\in {\mathcal {B}}^{k}}$ gilt:

${\displaystyle \int _{\bigcup B_{i}}f(x)d^{k}x=\sum _{i=1}^{\infty }\int _{B_{i}}f(x)d^{k}x}$

Über den Satz der monotonen Konvergenz.

Sei ${\displaystyle f(x),x\in \mathbb {R} ^{k}}$ eine Dichte und ${\displaystyle (a,b]}$ ein ${\displaystyle n}$-dimensionales Intervall ${\displaystyle (a,b]=\otimes _{i=1}^{k}(a_{i},b_{i}]}$.

a) Setzt man

(*)${\displaystyle P(a,b]=\int _{(a,b]}f(x)d^{k}x}$

so wird eine Wahrscheinlichkeitsverteilung ${\displaystyle P}$ auf ${\displaystyle (\mathbb {R} ^{k},{\mathcal {B}}^{k})}$ eindeutig festgelegt. (Anstelle von ${\displaystyle (a,b]}$ lässt sich auch jeder andere Intervalltyp ${\displaystyle \langle a,b\rangle =\otimes _{i=1}^{k}\langle a_{i},b_{i}\rangle }$ einsetzen.)

b) Für die Wahrscheinlichkeitsverteilung ${\displaystyle P}$ aus a) gilt, allgemeiner als (*):

${\displaystyle P(B)=\int _{B}f(x)d^{k}x(B\in {\mathcal {B}}^{k})}$

a) Durch (*) wird eine Abbildung ${\displaystyle P:F^{k}\to [0,1]}$ definiert, die wegen ${\displaystyle \int _{\mathbb {R} ^{k}}f(x)d^{k}x=1}$ normiert ist und aufgrund des vorangegangenen Satzes ${\displaystyle \sigma }$-additiv auf ${\displaystyle F^{k}}$ ist. Nach dem Fortsetzungssatz hat sie eine eindeutige Fortsetzung auf ${\displaystyle {\mathcal {B}}^{k}}$.

b) Folgt dann aus dem vorangegangenen Satz und der Eindeutigkeitsaussage von a).

${\displaystyle k}$-dimensionale Normalenverteilung mit Paramter ${\displaystyle \mu \in \mathbb {R} ^{k}}$ und ${\displaystyle \Sigma }$ (symmetrische ${\displaystyle k\times k}$-Matrix, positiv definit), kurz ${\displaystyle N(\mu ,\Sigma )}$-Verteilung.

Dichte:

${\displaystyle f(x)={\frac {1}{\sqrt {(s\pi )^{k}det(\Sigma )}}}e^{-{\frac {1}{2}}(x-\mu )^{T}\cdot \Sigma ^{-1}\cdot (x-\mu )}}$ mit ${\displaystyle x\in \mathbb {R} ^{k}.}$

Abkürzung:

${\displaystyle (N_{k}(\mu ,\Sigma )).}$

${\displaystyle N_{k}(0,I_{k})}$ (${\displaystyle k}$-dimensionale Standard-Normalenverteilung).

Im Fall ${\displaystyle \mu =0\in \mathbb {R} ^{k}}$ und ${\displaystyle \Sigma =I_{k}}$ (${\displaystyle k}$-dimensionale Einheitsmatrix) reduziert sich die Gleichung der Dichte aus dem obigen Beispiel auf

${\displaystyle f(x)={\frac {1}{\sqrt {(s\pi )^{k}}}}e^{-{\frac {1}{2}}(x_{1}^{2}+...+x_{k}^{2})}=\Pi _{i=1}^{k}{\frac {e^{-{\frac {1}{2}}x}}{\sqrt {(s\pi )}}}}$ mit ${\displaystyle x=(x_{1},...,x_{k})\in \mathbb {R} ^{k}}$.

${\displaystyle f(x)}$ hat die Normierungseigenschaft.

Zu Beginn der Vorlesung hatten wir jede Abbildung: ${\displaystyle \Omega \to \Omega '}$ als Zufallsgröße bezeichnet: ${\displaystyle (\Omega ,{\mathcal {S}},P)\to (\Omega ',{\mathcal {S}}',P_{X})}$. Jetzt müssen wir sicherstellen, dass die Urbilder ${\displaystyle X^{-1}(A'),A'\in {\mathcal {S}}'}$ auch Element von ${\displaystyle {\mathcal {S}}}$ sind.

a) Sind ${\displaystyle (\Omega ,{\mathcal {S}}),(\Omega ',{\mathcal {S}}')}$ messbare Räume, so heißt eine Abbildung ${\displaystyle X:\Omega \to \Omega '}$ Zufallsgröße (auf ${\displaystyle (\Omega ,{\mathcal {S}})}$, mit Werten in ${\displaystyle \Omega '}$ ), falls

${\displaystyle X^{-1}(A')\in {\mathcal {S}}\forall A'\in {\mathcal {S}}'}$

b) Ist ${\displaystyle X:\Omega \to \Omega '}$ Zufallsgröße und ${\displaystyle P}$ eine Wahrscheinlichkeitsverteilung auf ${\displaystyle (\Omega ,{\mathcal {S}})}$, so heißt ${\displaystyle P_{X}:{\mathcal {S}}'\to [0,1]}$ mit

${\displaystyle P_{X}(A')=P(X^{-1}(A')),A'\in {\mathcal {S}}'}$

Verteilung von ${\displaystyle X}$.

1. Man zeige genau wie zu Beginn der Vorlesung, dass ${\displaystyle P_{X}}$ eine Wahrscheinlichkeitsverteilung auf ${\displaystyle (\Omega ',{\mathcal {S}}')}$ ist.

2. In der Maßtheorie nennt man eine Abbildung ${\displaystyle X}$ mit der Eigenschaft a) messbar bezüglich ${\displaystyle {\mathcal {S}},{\mathcal {S}}'}$. (Eine messbare Funktion ${\displaystyle f:\mathbb {R} ^{k}\to \mathbb {R} }$ ist also messbar bezüglich ${\displaystyle {\mathcal {B}}^{k},{\mathcal {B}}^{1}}$.)

3. Im Fall ${\displaystyle \Omega '=\mathbb {R} ^{k},{\mathcal {S}}'={\mathcal {B}}^{k}}$ spricht man von einem ${\displaystyle k}$-dimensionalen Zufallsvektor, im Fall ${\displaystyle k=1}$ von einer Zufallsvariablen.

4. Es gibt nichtmessbare Funktionen ${\displaystyle F:\mathbb {R} \to \mathbb {R} }$. Ist nämlich ${\displaystyle C\subset \mathbb {R} ^{1}}$ nicht borelsch, so ist ${\displaystyle f=1_{C}}$ nicht messbar.

Seien ${\displaystyle (\Omega ,{\mathcal {S}}),(\Omega ',{\mathcal {S}}')}$ messbare Räume, ${\displaystyle F'\subset {\mathcal {S}}'}$ sei Erzeugendensystem von ${\displaystyle {\mathcal {S}}'}$ (d.h. ${\displaystyle \sigma (F')={\mathcal {S}}'}$). Die Abbildung ${\displaystyle X:\Omega \to \Omega '}$ ist genau dann Zufallsgröße, wenn

${\displaystyle X^{-1}(A')\in {\mathcal {S}},\forall A'\in F'}$.

Aus 1) folgt 3) (trivial). Sei nun 3) erfüllt. Setze

${\displaystyle \phi '=\lbrace A'\in {\mathcal {S}}':X^{-1}(A')\in {\mathcal {S}}\rbrace }$,

man zeigt, dass ${\displaystyle \phi '}$ eine ${\displaystyle \sigma }$-Algebra ist. Aus ${\displaystyle F'\subset \phi '\subset {\mathcal {S}}'}$ folgt

${\displaystyle {\mathcal {S}}'=\sigma (F')\subset \sigma (\phi ')=\phi '\subset \sigma ({\mathcal {S}}')={\mathcal {S}}'\Rightarrow \phi '={\mathcal {S}}'.}$

Sei ${\displaystyle (\Omega ,{\mathcal {S}})}$ ein messbarer Raum, ${\displaystyle X:\Omega \to \mathbb {R} }$ ist Zufallsvariable genau dann, wenn

${\displaystyle \lbrace X<b\rbrace \equiv X^{-1}(-\infty ,b]\in {\mathcal {S}},\forall b\in \mathbb {R} }$

(äquivalent: ${\displaystyle \leq ,\geq ,>}$ statt ${\displaystyle <}$)
Insbesondere ist jede stetige (stückweise stetige) Abbildung ${\displaystyle X:\mathbb {R} ^{k}\to \mathbb {R} }$ Zufallsvariable auf ${\displaystyle (\mathbb {R} ^{k},{\mathcal {B}}^{k})}$.

Setze ${\displaystyle F'=\lbrace (-\infty ,b]:b\in \mathbb {R} \rbrace }$. Man zeigt, dass ${\displaystyle \sigma (F')={\mathcal {B}}^{1}}$, so dass der vorangegangene Satz anwendbar ist. Für ein stetiges ${\displaystyle X:\mathbb {R} ^{k}\to \mathbb {R} }$ ist ${\displaystyle X^{-1}(-\infty ,b)}$ offene Menge, ist in ${\displaystyle \mathbb {R} ^{k}}$, also aus ${\displaystyle {\mathcal {B}}^{k}}$.

Sei ${\displaystyle X=(X_{1},...,X_{,}k)}$ eine Abbildung: ${\displaystyle \Omega \to \mathbb {R} ^{k}}$, und ${\displaystyle (\Omega ,{\mathcal {S}})}$ messbarer Raum. Dann ist ${\displaystyle X}$ ein Zufallsvektor genau dann, wenn jedes ${\displaystyle X_{i}}$ eine Zufallsvariable ist (${\displaystyle i=1,...,k}$).

Es gilt:

${\displaystyle X_{i}^{-1}(a,b]=X^{-1}(\mathbb {R} \times ...\times \mathbb {R} \times (a,b]\times \mathbb {R} \times ...\times \mathbb {R} )}$

mit ${\displaystyle (a,b]}$ an der ${\displaystyle i}$-ten Stelle, woraus die Behauptung folgt.

Sind ${\displaystyle (\Omega ,{\mathcal {S}}),(\Omega ',{\mathcal {S}}'),(\Omega '',{\mathcal {S}}'')}$ messbare Räume und ${\displaystyle X:\Omega \to \Omega ',Y:\Omega '\to \Omega ''}$ Zufallsgrößen, so ist auch ${\displaystyle Y\circ X:\Omega \to \Omega ''}$ eine Zufallsgröße (Beweis klar).

Die eingeführte Notaion "${\displaystyle F}$ ist eine Verteilungsfunktion von ${\displaystyle P}$" und "${\displaystyle f}$ ist Dichte von ${\displaystyle P}$" wird durch die Verteilung ${\displaystyle P_{X}}$ von ${\displaystyle X}$ angewandt:

Man sagt dann "${\displaystyle F}$ ist Verteilungsfunktion von ${\displaystyle X}$"(d.h. ${\displaystyle F_{X}(x)=P(x\in X)=P_{X}(-\infty ,x]}$ für eine Zufallsvariable von ${\displaystyle X}$) und ${\displaystyle f_{X}}$ ist Dichte von ${\displaystyle X}$ (aber ${\displaystyle X}$ hat Dichte ${\displaystyle f}$).

Ist die Zufallsvariable ${\displaystyle X}$ eine Wartezeit und ${\displaystyle P_{X}}$ eine Exponentialverteilung (mit ${\displaystyle \lambda >0}$), so hat ${\displaystyle X}$ die

Verteilungsfunktion:

${\displaystyle F_{X}(x)=\left\{{\begin{array}{ll}0,&x<0\\1-e^{-\lambda x},&x\geq 0\end{array}}\right.}$

bzw. die Dichte:

${\displaystyle f_{X}(x)=\left\{{\begin{array}{ll}0,&x<0\\\lambda e^{-\lambda x},&x\geq 0\end{array}}\right.}$

Hat der Zufallsvektor ${\displaystyle X=(X_{1},...,X_{k})}$ die Dichte ${\displaystyle f(x)=f_{X}(x),x\in \mathbb {R} ^{k}}$, so gilt für ein ${\displaystyle k}$-dimensionales Intervall ${\displaystyle (a,b]=\otimes _{i=1}^{k}(a_{i},b_{i}]}$:

${\displaystyle P_{X}(a,b]=\int _{a_{k}}^{b_{k}}...\int _{a_{1}}^{b_{1}}f(x_{1},...,x_{k})dx_{1}...dx_{k}}$

Hat ${\displaystyle X}$ die Dichte ${\displaystyle f(x),x\in \mathbb {R} ^{k}}$ , so hat die Komponente ${\displaystyle X_{i}}$ die Randdichte

${\displaystyle f_{X_{i}}(x_{i})=\int _{\mathbb {R} ^{k-1}}f(x_{1},...,x_{k})dx_{1}...dx_{i-1}dx_{i+1}...dx_{k}}$.

Der folgende Satz gibt die Dichte von ${\displaystyle \phi \circ X}$ an, wenn die Dichte von ${\displaystyle X}$ gegeben ist.

Der ${\displaystyle k}$-dimensionale Zufallsvektor ${\displaystyle X}$ besitzt die Dichte ${\displaystyle f(x),x\in \mathbb {R} ^{k}}$, wobei für eine offene Menge ${\displaystyle U\subset \mathbb {R} ^{k}}$ gilt: ${\displaystyle f(x)=0}$ für ${\displaystyle x\notin U}$. Sei ${\displaystyle \phi :U\to V,V\subset \mathbb {R} ^{k}}$ eine bijektive Abbildung mit ${\displaystyle \phi ,\phi ^{-1}}$ stetig differenzierbar.

Dann hat der ${\displaystyle k}$-dimensionale Zufallsvektor ${\displaystyle Y=\phi \circ X}$ eine Dichte und es gilt

${\displaystyle g(y)=0,y\notin V}$

${\displaystyle g(y)=f(\phi ^{-1}(y))\cdot |det({\frac {d\phi ^{-1}}{dy}}(y))|,y\in V}$

wobei ${\displaystyle ({\frac {d\phi ^{-1}}{dy}}(y))=({\frac {d\phi _{i}^{-1}}{dy_{j}}}(y)),(i,j=1,...,k)}$ die ${\displaystyle k\times k}$ Funktionsmatrix von ${\displaystyle \phi ^{-1}}$ ist.

Zur Festlegung der Verteilung (und damit der Dichte) von ${\displaystyle Y=\phi \circ X}$ genügt es, ${\displaystyle \phi }$ alleine auf ${\displaystyle U}$ festzulegen. Sind nämlich ${\displaystyle \phi }$ und ${\displaystyle {\tilde {\phi }}:\mathbb {R} ^{k}\to \mathbb {R} ^{k}}$ mit ${\displaystyle \phi |U={\tilde {\phi }}|U}$, so gilt ${\displaystyle P_{{\tilde {\phi }}\circ X}=P_{\phi \circ X}}$.

In der Tat, sei ${\displaystyle B\in {\mathcal {B}}^{k}}$, dann

${\displaystyle P_{{\tilde {\phi }}\circ X}(B)=P(X\in {\tilde {\phi }}^{-1}(B))=P(X\in {\tilde {\phi }}^{-1}(B)\cap U)}$

${\displaystyle =P(X\in \phi ^{-1}(B)\cap U)=P(X\in \phi ^{-1}(B))=P_{\phi \circ X}(B)}$

die zweite Gleichheit gilt wegen

${\displaystyle P(X\in {\bar {U}})=\int _{\bar {U}}f(x)dx=0,}$

da ${\displaystyle f(x)=0}$ für ${\displaystyle x\notin U}$.

Sei ${\displaystyle A\in {\mathcal {B}}^{k}}$ offen, dann gilt wegen der zweiten Gleichheit (${\displaystyle P(X\in {\bar {U}})=0}$):

${\displaystyle P_{\phi \circ X}(A)=P(X\in \phi ^{-1}(A))=P(X\in \phi ^{-1}(A)\cap U)}$

${\displaystyle =\int _{\phi ^{-1}(A)\cap U}f(x)dx=\int _{\phi ^{-1}(a\cap V)}f(x)dx}$

${\displaystyle =\int _{(A\cap V)}f(\phi ^{-1}(x))\cdot |det{\frac {d\phi ^{-1}}{dy}}(y)|dy\equiv \int _{A}g(y)dy}$

wobei wir den Transformationssatz für Integrale angewandt haben. Speziell gilt für offenes ${\displaystyle A=\otimes _{i=k}^{k}(a_{i},b_{i})}$:

${\displaystyle P_{\phi \circ X}(A)=\int _{a_{k}}^{b_{k}}...\int _{a_{1}}^{b_{1}}g(y)dy}$

d.h. ${\displaystyle g(y)}$ ist Dichte von ${\displaystyle \phi \circ X}$.

Besitzt der ${\displaystyle k}$-dimensionale Zufallsvektor ${\displaystyle X}$ die Dichte ${\displaystyle f(x),x\in \mathbb {R} ^{k}}$, so lautet die Dichte ${\displaystyle g(y),y\in \mathbb {R} ^{k}}$ von ${\displaystyle Y=A\cdot X+b}$, (A invertierbare ${\displaystyle k\times k}$-Matrix, ${\displaystyle b\in \mathbb {R} ^{k}}$)

${\displaystyle g(y)={\frac {1}{|detA|}}f(A^{-1}(y-b)),y\in \mathbb {R} ^{k}.}$

${\displaystyle \phi (X)=A\cdot X+b}$ ist auf ${\displaystyle U=\mathbb {R} ^{k}}$ bijektiv, mit ${\displaystyle \phi ^{-1}(y)=A^{-1}(y-b)}$ und

${\displaystyle det({\frac {d\phi ^{-1}(y)}{dy}})=det(A^{-1})={\frac {1}{det(A)}}.}$

${\displaystyle k}$-dimensionale Normalenverteilung.

1. Ist ${\displaystyle X}$ ${\displaystyle N(0,I_{k})}$-verteilt (d.h. ${\displaystyle f(x)=({\frac {1}{\sqrt {2\pi }}})^{k}e^{-{\frac {1}{2}}x^{T}x},x=(x_{1},...,x_{k})^{T}}$), so besitzt ${\displaystyle Y=A\cdot X+\mu }$ (${\displaystyle A}$ invertierbare ${\displaystyle k\times k}$-Matrix, ${\displaystyle \mu \in \mathbb {R} ^{k}}$) die Dichte

${\displaystyle g(y)={\frac {1}{|det(A)|}}({\frac {1}{\sqrt {2\pi }}})^{k}\cdot e^{-{\frac {1}{2}}(y-\mu )^{T}(A^{-1})^{T}\cdot A^{-1}(y-\mu )}}$

${\displaystyle ={\frac {1}{\sqrt {(2\pi )^{k}det(\Sigma )}}}e^{-{\frac {1}{2}}(y-\mu )^{T}\cdot \Sigma ^{-1}(y-\mu )}}$

mit ${\displaystyle \Sigma =A\cdot A^{T}}$. (Dann ist ${\displaystyle \Sigma ^{-1}=(A\cdot A^{T})^{-1}=(A^{-1})\cdot A^{-1}}$, ${\displaystyle \Sigma }$ symmetrisch, positiv definit, ${\displaystyle det(\Sigma )=(det(A))^{2}}$). ${\displaystyle Y}$ ist also ${\displaystyle N_{k}(\mu ,\Sigma )}$-verteilt.

2. Ist umgekehrt ${\displaystyle YN_{k}(\mu ,\Sigma )}$-verteilt (${\displaystyle \Sigma }$ symmetrisch, positiv definit), so ist ${\displaystyle X=(\Sigma ^{-{\frac {1}{2}}})^{T}\cdot (y-\mu )N_{k}(0,I_{k})}$-verteilt. Dabei ist ${\displaystyle \Sigma ^{-{\frac {1}{2}}}}$ eine intvertierbare ${\displaystyle k\times k}$-Matrix mit ${\displaystyle \Sigma ^{-1}=(\Sigma ^{-{\frac {1}{2}}})\cdot (\Sigma ^{-{\frac {1}{2}}})^{T}}$ (${\displaystyle (\Sigma ^{-{\frac {1}{2}}})^{T}=A}$ aus 1.).

Für symmetrische, positiv definite ${\displaystyle B}$ existieren verschiedene "Wurzeln" ${\displaystyle B^{\frac {1}{2}}}$ von ${\displaystyle B}$ mit (+) ${\displaystyle B=B^{\frac {1}{2}}\cdot (B^{\frac {1}{2}})^{T}}$ (oben mit ${\displaystyle B=\Sigma ^{-1},B^{\frac {1}{2}}=A^{-1}}$):

1. symmetrische Wurzel, ${\displaystyle B^{\frac {1}{2}}}$ symmetrisch, positiv definit

2. Cholesky Wurzel, ${\displaystyle B^{\frac {1}{2}}}$ obere Dreiecksmatrix

In jedem Fall ist ${\displaystyle det(B^{\frac {1}{2}})={\sqrt {detB}}}$ und (+).

a) Die auf ${\displaystyle (\Omega ,{\mathcal {S}},P)}$ definierten Zufallsvariablen ${\displaystyle X_{1},...,X_{n}}$ heißen unabhängig, falls für alle ${\displaystyle B_{1},...,B_{n}\in {\mathcal {B}}^{1}}$ gilt:

${\displaystyle P(X_{1}\in B_{1},...,X_{n}\in B_{n})=P(X_{1}\in B_{1})\cdot ...\cdot P(X_{n}\in B_{n})}$

b) Abzählbar viele Zufallsvariablen ${\displaystyle X_{1},X_{2},...}$ heißen unabhängig, wenn je endlich viele ${\displaystyle X_{i_{1}},...,X_{i_{n}}}$ unabhängig sind.

Die auf ${\displaystyle (\Omega ,{\mathcal {S}},P)}$ definierten Zufallsvariablen ${\displaystyle X_{1},...,X_{n}}$ sind unabhängig genau dann, wenn

${\displaystyle P_{(X_{1},...,X_{n})}=P_{X_{1}}\times ...\times P_{X_{n}}.}$

• Es gelte ${\displaystyle P_{(X_{1},...,X_{n})}=P_{X_{1}}\times ...\times P_{X_{n}}}$:

Seien ${\displaystyle B_{1},..,B_{n}\in {\mathcal {B}}^{1}}$, dann gilt:

${\displaystyle P(X_{1}\in B_{1},...,X_{n}\in B_{n})=P_{(X_{1},...,X_{n})}(B_{1}\times ...\times B_{n})}$

${\displaystyle =P_{X_{1}}\times ...\times P_{X_{n}}(B_{1}\times ...\times B_{n})=P_{X_{1}}(B_{1})\cdot ...\cdot P_{X_{n}}(B_{n})}$

${\displaystyle =P(X_{1}\in B_{1})\cdot ...\cdot P(X_{n}\in B_{n})}$

• Es gelte ${\displaystyle X_{1},...,X_{n}}$ unabhängig:

${\displaystyle P_{(X_{1},...,X_{n})}(B_{1}\times ...\times B_{n})=P(X_{1}\subset B_{1})\cdot ...\cdot P(X_{n}\subset B_{n})}$

${\displaystyle =P(X_{1}\in B_{1})\cdot ...\cdot P(X_{n}\in B_{n})=P_{X_{1}}(B_{1})\cdot ...\cdot P_{X_{n}}(B_{n})}$

Da die ${\displaystyle \sigma }$-Algebra ${\displaystyle {\mathcal {B}}^{n}}$ von dem System der Intervalle ${\displaystyle (a,b]=\otimes _{1}^{n}(a_{i},b_{i}]}$ erzeugt werden, genügt es, statt a) der Definition für alle ${\displaystyle a,b\in \mathbb {R} ^{n},a<b}$ zu finden:

${\displaystyle P(a_{1}\subset X_{1}\leq b_{1},...,a_{n}\subset X_{n}\leq b_{n})=P(a_{1}\subset X_{1}\leq b_{1})\cdot ...\cdot P(a_{n}\subset X_{n}\leq b_{n})}$

Auch Intervalltypen ${\displaystyle [),[],()}$ können anstelle von (] verwendet werden.

Die Zufallsvariablen ${\displaystyle X_{1},...,X_{n}}$ mögen die Dichten ${\displaystyle f_{1},...,f_{n}}$ besitzen.

Dann gilt:

${\displaystyle X_{1},...,X_{n}}$ unabhängig

${\displaystyle \Uparrow \Downarrow }$

${\displaystyle (X_{1},...,X_{n})}$ hat Dichte ${\displaystyle f(x_{1},...,x_{n})=f(x_{1})\cdot ...\cdot f(x_{n})}$

"${\displaystyle \Downarrow }$" Sind ${\displaystyle X_{1},...,X_{n}}$ unabhängig, dann folgt:

${\displaystyle P_{(x_{1},...,x_{n})}((a_{1},b_{1}]\times ...\times (a_{n},b_{n}])=P_{X_{1}}(a_{1},b_{1}]\cdot ...\cdot P_{X_{n}}(a_{n},b_{n}]}$

${\displaystyle =\int _{a_{1}}^{b_{1}}f_{1}(x_{1})dx_{1}\cdot ...\cdot \int _{a_{n}}^{b_{n}}f_{n}(x_{n})dx_{n}}$

${\displaystyle =\int _{a_{1}}^{b_{1}}...\int _{a_{n}}^{b_{n}}f_{1}(x_{1})\cdot ...\cdot f_{n}(x_{n})dx_{1}\cdot ...\cdot dx_{n}}$

${\displaystyle \Rightarrow (X_{1},...,X_{n})}$ hat Dichte ${\displaystyle f(x_{1},...,x_{n}),(x_{1},...,x_{n})\in \mathbb {R} ^{n}}$.

"${\displaystyle \Uparrow }$" Analog.

${\displaystyle X=(X_{1},...,X_{n})}$ ist ${\displaystyle {\mathcal {N}}(0,I_{k})}$-verteilt genau dann, wenn die ${\displaystyle X_{1},...,X_{n}}$ unabhängig und ${\displaystyle {\mathcal {N}}(0,1)}$-verteilt sind.

Sind ${\displaystyle X_{1},...,X_{n}}$ unabhängig mit den Dichten ${\displaystyle f_{X_{i}}(x)=f_{i}(x)={\frac {1}{\sqrt {2\pi }}}e^{-{\frac {x^{2}}{2}}},x\in \mathbb {R} }$ so hat ${\displaystyle (X_{1},...,X_{n})}$ gemäß des Satzes die Dichte

${\displaystyle f(x_{1},...,x_{n})=\Pi _{i=1}^{n}f_{i}(x_{i})={\frac {1}{{\sqrt {2\pi }}^{2}}}e^{-{\frac {1}{2}}(x_{1}^{2}+...+x_{n}^{2})}={\frac {1}{{\sqrt {2\pi }}^{n}}}e^{-{\frac {1}{2}}(x^{T}\cdot x)}}$

mit ${\displaystyle x=(x_{1},...,x_{n})}$. Umgekehrt folgt: ${\displaystyle X}$ hat die Dichte

${\displaystyle f(x_{1},...,x_{n})={\frac {1}{{\sqrt {2\pi }}n}}e^{-{\frac {1}{2}}(x^{T}\cdot x)}=\Pi _{i=1}^{n}{\frac {1}{{\sqrt {2\pi }}^{n}}}e^{-{\frac {1}{2}}(x_{i}^{2})}}$

Man stellt fest, durch Integration ${\displaystyle \int _{-\infty }^{\infty }}$ über die Komponenten ${\displaystyle x_{1},...,x_{i-1},x_{i+1},...,x_{n}}$, dass ${\displaystyle f_{i}(x_{i})}$ die Dichte von ${\displaystyle X_{i}}$ sein muss, so dass die Unabhängigkeit und ${\displaystyle {\mathcal {N}}(0,1)}$-Verteilung der ${\displaystyle X_{i}}$ folgt.

Für unabhängige ${\displaystyle X_{1},X_{2}}$ gilt:

${\displaystyle P_{X_{1}+X_{2}}(\lbrace x_{1}\rbrace )=\sum _{k}P_{X_{1}}(\lbrace x_{1}\rbrace )\cdot P_{X_{2}}(\lbrace x-x_{1}\rbrace )}$

Sind ${\displaystyle X_{1},X_{2}}$ unabhängige Zufallsvariabeln mit Dichten ${\displaystyle f_{1},f_{2}}$, dann besitzt die Zufallsvariable ${\displaystyle X_{1}+X_{2}}$ die Dichte

${\displaystyle f(x)=\int _{-\infty }^{\infty }f_{1}(x_{1})f_{2}(x-x_{1})dx.}$

Für die Verteilungsfunktion ${\displaystyle F(y):P(X_{1}+X_{2}\leq y)}$ weisen wir ${\displaystyle F(y)=\int _{-\infty }^{y}f(x)dx}$ nach. Es ist

${\displaystyle P(X_{1}+X_{2}\leq y)=P_{(X_{1},X_{2})}(\lbrace (x_{1},x_{2}):x_{1}+x_{2}\leq y\rbrace )}$

${\displaystyle =\int _{\lbrace (x_{1},x_{2}):x_{1}+x_{2}\leq y\rbrace }f_{1}(x_{1})\cdot f_{2}(x_{2})dx_{2}dx_{1}}$

${\displaystyle =\int _{-\infty }^{\infty }\int _{-\infty }^{y-x_{1}}f_{1}(x_{1})\cdot f_{2}(x_{2})dx_{2}dx_{1}}$

${\displaystyle =\int _{-\infty }^{\infty }\int _{-\infty }^{y}f_{1}(x_{1})\cdot f_{2}(x_{2}-x_{1})dx_{2}dx_{1}}$

${\displaystyle =\int _{-\infty }^{y}\int _{-\infty }^{\infty }f_{1}(x_{1})\cdot f_{2}(x_{2}-x)dx_{1}dx_{2}}$

${\displaystyle =\int _{-\infty }^{y}\int _{-\infty }^{\infty }f_{1}(x_{1})\cdot f_{2}(x-x_{1})dx_{1}dx_{2}}$

mit der Dichte ${\displaystyle p(x)=\int _{-\infty }^{\infty }f_{1}(x_{1})\cdot f_{2}(x-x_{1})dx_{1}.}$

Sind ${\displaystyle X_{1},...,X_{n}}$ unabhängige Zufallsvariablen, so heißt die Wahrscheinlichkeitsverteilung

${\displaystyle P_{X_{1}+...+X_{n}}\equiv P_{X_{1}}*...*P_{X_{n}}}$

Faltung von ${\displaystyle P_{X_{1}+...+X_{n}}}$(mit "${\displaystyle *}$" ist Faltungssymbol).

Sei ${\displaystyle S_{n}}$ die Wartezeit zwischen dem ${\displaystyle n-1}$-ten und ${\displaystyle n}$-ten Ereignis. Die Zufallsvariable ${\displaystyle T_{n}=S_{1}+...+S_{n}}$ stellt die Wartezeit des ${\displaystyle n}$-ten Ereignisses dar. Unter den Voraussetzungen

1. Die Zufallsvariablen ${\displaystyle S_{1},S_{2},...}$ sind unabhängig

2. Jedes ${\displaystyle S_{i}}$ ist exponentialverteilt mit dem Paramter ${\displaystyle \lambda }$ ("${\displaystyle \epsilon (\lambda )}$-verteilt")

wollen wir die Dichte der Zufallsvariable ${\displaystyle T_{n}}$ berechnen. Es gilt:

${\displaystyle f_{n}(x)={\frac {\lambda ^{n}\cdot x^{n-1}}{(n-1)!}}\cdot e^{-\lambda x},x\geq 0}$(${\displaystyle f_{n}(x)=0}$ falls ${\displaystyle x<0}$)

Die Wahrscheinlichkeitsverteilung mit der Dichte ${\displaystyle f_{n}}$ heißt Gammaverteilung mit Parametern ${\displaystyle n}$ und ${\displaystyle \lambda }$, kurz ${\displaystyle \Gamma (n,\lambda )}$ (${\displaystyle I_{n}}$ heißt dann ${\displaystyle \Gamma (n,\lambda )}$-verteilt).

${\displaystyle \Gamma (n,\lambda )=\epsilon (\lambda )*...*\epsilon (\lambda )}$ (n-mal gefaltet)

Zerlegt man einen Satz von Zufallsvariablen in disjunkte Gruppen und setzt auf die Gruppen Funktionen an, so erhalten wir unabhängige Zufallsvariablen.

${\displaystyle X_{1},...,X_{n}}$ seien unabhängige Zufallsvariablen, für ${\displaystyle m\leq n}$ sei ${\displaystyle \lbrace 1,...,n\rbrace =I_{1}\cup ...\cup I_{m}}$ eine Zerlegung der Indexmenge und ${\displaystyle \phi _{j}}$ Zufallsvariable auf ${\displaystyle (\mathbb {R} ^{k_{j}},{\mathcal {b}}^{k_{j}})}$, ${\displaystyle k_{j}=|I_{j}|}$, ${\displaystyle j=1,...,m}$ ${\displaystyle (\sum _{j=1}^{m}k_{j}=n)}$. Bezeichnet ${\displaystyle Y_{j}}$ den ${\displaystyle k_{j}}$-dimensionalen Zufallsvektor ${\displaystyle (X_{i},i\in I)}$, dann sind

${\displaystyle \phi _{1}\cdot Y_{1},...,\phi _{m}\cdot Y_{m}}$

unabhängige Zufallsvariablen.

Ohne Einschränkung sei

${\displaystyle I_{1}=\lbrace 1,...,k_{1}\rbrace ,I_{2}=\lbrace k_{1}+1,...,k_{1}+k_{2}\rbrace ,...}$

Zunächst zeigen wir, dass die ${\displaystyle m}$ Zufallsvektoren ${\displaystyle Y_{1},...,Y_{m}}$ unabhängig sind, im Sinne von

(*) ${\displaystyle P_{(Y_{1},...,Y_{m})}(C_{1}\times ...\times C_{m})=P_{Y_{1}}(C_{1})\cdot ...\cdot P_{Y_{m}}(C_{m})}$

für alle ${\displaystyle C_{j}\in {\mathcal {B}}^{k_{j}},j=1,...,m}$.

Für die speziellen ${\displaystyle C_{j}}$ der Form ${\displaystyle C_{j}=B_{1}^{j}\times ...\times B_{k}^{j},B_{l}^{j}\in {\mathcal {B}}^{1}}$ gilt wegen ${\displaystyle (Y_{1},...,Y_{m})=(X_{1},...,X_{n}),(C_{1},...,C_{m})=(B_{1}^{j},...,B_{k_{m}}^{j})}$:

${\displaystyle P_{(Y_{1},...,Y_{m})}(C_{1}\times ...\times C_{m})=P_{(X_{1},...,X_{n})}(B_{1}^{1}\times ...\times B_{k_{m}}^{m})}$

${\displaystyle =P_{X_{1}}(B_{1}^{1})\cdot ...\cdot P_{X_{n}}(B_{k_{m}}^{m})}$

${\displaystyle =\otimes _{i\in I_{1}}P_{X_{i}}(B_{1}^{1}\times ...\times B_{k_{1}}^{1})\cdot ...\cdot \otimes _{i\in I_{m}}P_{X_{i}}(B_{1}^{m}\times ...\times B_{k_{m}}^{m})}$

${\displaystyle =P_{Y_{1}}(C_{1})\cdot ...\cdot P_{Y_{m}}(C_{m})}$

Nach dem Fortsetzungssatz gilt dann (*) auch für alle ${\displaystyle C_{j}\in {\mathcal {B}}^{k_{j}}}$.

Nun wird die Unabhängigkeit der ${\displaystyle \phi _{1}\circ Y_{1},...,\phi _{m}\circ Y_{m}}$ gezeigt. Es gilt:

${\displaystyle P_{\phi _{1}\circ Y_{1},...,\phi _{m}\circ Y_{m})}(B_{1}\times ...\times B_{m})=...=P_{\phi _{1}\circ Y_{1}}(B_{1})\cdot ...\cdot P_{\phi _{m}\circ Y_{m}}(B_{m})}$

Wir führen den Begriff des Erwartungswert ${\displaystyle E(X)}$ einer Zufallsvariable ${\displaystyle X}$ ein, indem wir uns a den entsprechenden Begriff für den diskreten Fall durch eine Approximation von ${\displaystyle X}$ (durch eine Folge diskreter Zufallsvariablen ${\displaystyle X_{n}}$) anhängen.

Für eine beliebige Zufallsvariable ${\displaystyle X}$ auf ${\displaystyle (\Omega ,{\mathcal {S}})}$ definiert man jedes ${\displaystyle n\in \mathbb {N} }$ die Zufallsvariable (${\displaystyle n}$-te Approximierte):

${\displaystyle X_{n}(w)=\sum _{i=-\infty }^{\infty }{\frac {k}{n}}1_{A_{k,n}}(w)}$

${\displaystyle A_{k,n}=\lbrace w:{\frac {k}{n}}\leq X(w)<{\frac {k+1}{n}}\rbrace }$

d.h. ${\displaystyle \left\{{\begin{array}{ll}X_{n}(w){\frac {k}{n}},&w\in A_{k,n}\\0,&sonst\end{array}}\right.}$

Es ist ${\displaystyle A_{k,n}\in {\mathcal {S}}}$, so dass ${\displaystyle X_{n}}$ eine Zufallsvariable ist, und zwar mit höchstens abzählbar vielen Werten (${\displaystyle \pm {\frac {k}{n}},k\in \mathbb {Z} }$). Gemäß der Definition für den Erwartungswert diskreter Zufallsvariablen setzen wir für die diskrete Zufallsvariable ${\displaystyle X_{n}}$:

${\displaystyle E(X_{n})=\sum _{i=-\infty }^{\infty }P(A_{k,n})}$

(mit ${\displaystyle P(A_{k,n})=P_{X_{n}}\lbrace {\frac {k}{n}}\rbrace }$), sofern

${\displaystyle \sum _{i=-\infty }^{\infty }{\frac {|k|}{n}}P(A_{k,n})\equiv E(|X_{n}|)<\infty .}$

a) ${\displaystyle X_{n}\leq X\leq X_{n}+{\frac {1}{n}}}$, insbesondere ${\displaystyle |X-X_{n}|\leq {\frac {1}{n}}}$

b) ${\displaystyle |X_{n}-X_{m}|\leq {\frac {1}{n}}+{\frac {1}{m}}}$, denn ${\displaystyle |X_{n}-X_{m}\leq |X_{n}-X|+|X-X_{m}|}$ und a)

c) ${\displaystyle E|X_{n}-X_{m}|\leq {\frac {1}{n}}+{\frac {1}{m}}}$, aus b) und Eigenschaften von ${\displaystyle E}$

d) Existiert ${\displaystyle E(X_{n})}$ für ${\displaystyle n\in \mathbb {N} }$, so existiert auch ${\displaystyle E(X_{m})}$ für alle ${\displaystyle m\geq n}$, denn

${\displaystyle E(X_{m})\leq E|X_{m}-X_{n}|+E(X_{m})<\infty }$

e) Existiert ${\displaystyle E(X_{n})}$ für (mindestens) ein ${\displaystyle n\in \mathbb {N} }$, so bildet ${\displaystyle E(X_{n}),n\geq n_{0}}$ eine Cauchyfolge, denn

${\displaystyle |E(X_{n})-E(X_{m})|=|E(X_{n}-X_{m})|\leq E|X_{n}-X_{m}|={\frac {1}{n}}+{\frac {1}{m}}\to 0,n,m\to \infty }$

Falls für (mindestens) ein ${\displaystyle n\in \mathbb {N} }$ der Erwartungswert ${\displaystyle E(X_{n})}$ der ${\displaystyle n}$-ten Approximation für ${\displaystyle X}$ existiert, so setzt man ${\displaystyle E(X)=lim_{n\to \infty }E(X_{n})}$ (Existenz nach e) gesichert) und sagt: ${\displaystyle E(X)}$ existiert oder ${\displaystyle X}$ besitzt einen Erwartungswert. Man schreibt auch: ${\displaystyle E(X)=\int _{a}X(w)P(dw)}$.

Dieses "${\displaystyle P}$-Integral von ${\displaystyle X}$" ist von Typ "Lebesgue-Stieltjes" (Intervalleinteilung auf der ${\displaystyle y}$-Achse), im Unterschied zum Riemann-Integral (Einteilung auf der ${\displaystyle x}$-Achse).

a) ${\displaystyle E(X)}$ existiert genau dann, wenn ${\displaystyle E|X|}$ existiert (d.h. ${\displaystyle E|X|<\infty }$).

b) Ist ${\displaystyle X(\Omega )}$ abzählbar, so ist ${\displaystyle E(X)=\sum _{x\in X(\Omega )}x\cdot P_{X}\lbrace w\rbrace }$, falls die Reihe absolut kovergiert.

a) Mehrfache Anwendung der Eigenschaften von ${\displaystyle E(X_{n})}$ a) liefert ${\displaystyle |X_{n}|\leq |X|+|X-X_{n}|\leq |X|+{\frac {1}{n}}\leq |X|_{n}+{\frac {2}{n}}}$ und ${\displaystyle |X|_{n}\leq ...\leq |X_{n}|+{\frac {1}{n}}}$, woraus a) folgt.

b) Setze ${\displaystyle I_{k,n}=({\frac {k}{n}},{\frac {k+1}{n}}]}$. Wegen ${\displaystyle P(X_{n}={\frac {k}{n}})=\sum _{x\in I_{k,n}}P(X=x)}$ ist

(*) ${\displaystyle \left\{{\begin{array}{ll}E(X_{n})=\sum _{k=-\infty }^{\infty }{\frac {k}{n}}\sum _{x\in I_{k,n}}P(X=x)\\\leq \sum _{k=-\infty }^{\infty }\sum _{x\in I_{k,n}}xP(X=x)\\=\sum _{x\in X(\Omega )}xP(X=x)\\\leq \sum _{k=-\infty }^{\infty }{\frac {k+1}{n}}\sum _{x\in T_{k,n}}P(X=x)=E(X_{n})+{\frac {1}{n}}\end{array}}\right.}$

Falls die Reihe ${\displaystyle \sum xP(X=x)}$ absolut konvergiert, so wegen ${\displaystyle E(X_{n})\leq \sum |x|P(X=x)+{\frac {1}{n}}<\infty }$ (ähnliche Abschätzung wie (*)) auch die Reihe ${\displaystyle E(X_{n})}$, so dass ${\displaystyle lim_{n\to \infty }}$ in (*) die Behauptung liefert.

Im speziellen Fall, dass ${\displaystyle X}$ eine Dichte besitzt, berechnet sich ${\displaystyle E(X)}$ wie folgt.

Besitzt die Zufallsvariable ${\displaystyle X}$ eine Dichte ${\displaystyle f(x),x\in \mathbb {R} }$, so ist

${\displaystyle E(X)=\int _{-\infty }^{\infty }xf(x)dx,}$

sofern ${\displaystyle \int _{-\infty }^{\infty }|x|f(x)dx<\infty .}$

Wegen ${\displaystyle P(X_{n}={\frac {k}{n}})=P({\frac {k}{n}}\leq X\leq {\frac {k+1}{n}})=\int _{\frac {k}{n}}^{\frac {k+1}{n}}f(x)dx}$ ist:

(*) ${\displaystyle E(X_{n})=\sum _{k=-\infty }^{\infty }{\frac {k}{n}}\int _{\frac {k}{n}}^{\frac {k+1}{n}}f(x)dx\leq \sum _{k=-\infty }^{\infty }xf(x)dx}$

${\displaystyle =\int _{-\infty }^{\infty }xf(x)dx\leq \sum _{k=-\infty }^{\infty }{\frac {k+1}{n}}\int _{\frac {k}{n}}^{\frac {k+1}{n}}xf(x)dx=E(X_{n})+{\frac {1}{n}}}$

(Ähnliche Überlegung zur absoluten Konvergenz ${\displaystyle E(X_{n})lim_{n\to \infty }}$ in (*) liefert die Behauptung.

Allgemeiner gilt der folgende Satz (${\displaystyle k}$-dimensionaler Zufallsvektor ${\displaystyle X}$, Komposition ${\displaystyle \phi \circ X}$).

Besitzt ein ${\displaystyle k}$-dimensionaler Zufallsvektor ${\displaystyle X}$ die Dichte ${\displaystyle f(x),x\in \mathbb {R} }$, und ist ${\displaystyle \phi }$ eine (messbare) Funktion von ${\displaystyle \mathbb {R} ^{k}\to \mathbb {R} }$, gilt:

${\displaystyle E(\phi \circ X)=\int _{\mathbb {R} ^{k}}\phi (x)f(x)d^{k}x,}$

sofern ${\displaystyle \int _{\mathbb {R} ^{k}}|\phi |fd^{k}x<\infty .}$

Gemäß dem Satz über Verkettung von Zufallsvariablen ist ${\displaystyle \phi \circ X}$ eine Zufallsvariable. Ähnlich wie oben gilt:

${\displaystyle E(\phi \circ X)_{n}=...\leq ...=\int _{\mathbb {R} ^{k}}\phi (x)f(x)d^{k}x\leq ...=E(\phi \circ X)_{n}+{\frac {1}{n}}}$

Wie bei diskreten Zufallsvariablen haben wir auch hier die Monotonie und die Linearität des Erwartungswertes.

Sind ${\displaystyle X}$ und ${\displaystyle Y}$ Zufallsvariablen mit Erwartungswerten ${\displaystyle E(X)}$ und ${\displaystyle E(Y)}$, so gilt:

a) ${\displaystyle E(aX+bY)}$ existiert und ${\displaystyle E(aX+bY)=aE(X)+bE(Y)}$ für alle ${\displaystyle a,b\in \mathbb {R} }$

b) ${\displaystyle E(X)\leq E(Y)}$, falls ${\displaystyle X\leq Y}$.

c) ${\displaystyle E(1)=1}$

Folgt aus den entsprechenden Eigenschaften für diskrete Zufallsvariablen. Für die Existenz des Erwartungswertes ist das sogenannte Majorantenkriterium nützlich.

Sind ${\displaystyle X,Y}$ Zufallsvariablen mit ${\displaystyle |X|\leq Y}$ und ${\displaystyle E(Y)}$ existiert (d.h. ${\displaystyle E(Y)<\infty }$), so existiert auch ${\displaystyle E(X)}$ (und es ist ${\displaystyle E(X)\leq E(Y)}$ nach b)).

Für die approximierten Zufallsvariablen ${\displaystyle |X|_{n}}$ und ${\displaystyle Y_{n}}$ gilt ${\displaystyle |X|_{n}\leq Y_{n}}$ und deshalb:

${\displaystyle E(|X|_{n})\leq E(Y_{n})<\infty }$

(Letzteres für ${\displaystyle n\leq n_{0}}$ nach Voraussetzung). Also existiert auch ${\displaystyle E|X|}$ und - nach den Eigenschaften von ${\displaystyle E(X)}$, a) - auch ${\displaystyle E(X)}$.

Existieren für unabhängige Zufallsvariablen ${\displaystyle X}$ und ${\displaystyle Y}$ die Erwartungswerte ${\displaystyle E(X)}$ und ${\displaystyle E(Y)}$, so existiert auch der Erwartungswert für ${\displaystyle X\cdot Y}$ und es gilt

${\displaystyle E(X\cdot Y)=E(X)\cdot E(Y).}$

Man kann die Approximation ${\displaystyle X_{n},Y_{n}}$ in der Form ${\displaystyle X_{n}=\phi (X),Y_{n}=\phi (Y)}$ schreiben, mit einer geeigneten messbaren Funktion ${\displaystyle \phi \equiv \phi _{n}}$. Somit sind dann auch ${\displaystyle X_{n},Y_{n}}$ unabhängige Zufallsvariablen und ${\displaystyle X_{n}\cdot Y_{n}}$ hat einen Erwartungswert und es gilt

${\displaystyle E(X_{n}\cdot Y_{n})=E(X_{n})\cdot E(Y_{n}).}$

Wir haben die Ungleichung

${\displaystyle |(X\cdot Y)_{n}-X_{n}\cdot Y_{n}|}$

${\displaystyle \leq |(X\cdot Y)_{n}-|X\cdot Y|+|X\cdot Y|-|X_{n}\cdot Y|+|X_{n}\cdot Y|-X_{n}\cdot Y_{n}|}$

${\displaystyle \leq {\frac {1}{n}}+{\frac {1}{n}}|Y|+{\frac {1}{n}}|X_{n}|\leq {\frac {1}{n}}(2+|X|+|Y|)\equiv {\frac {1}{n}}Z}$

• ${\displaystyle E(X\cdot Y)_{n}}$ existiert, also auch ${\displaystyle E(X\cdot Y)}$
• ${\displaystyle E(X_{n}\cdot Y_{n})-E(X\cdot Y)_{n}\to ^{n\to \infty }0}$ so dass (*) die Behauptung liefert.

Für das nun folgende ('höhere Momente') wird wiederholt folgende Ungleichung benutzt:

${\displaystyle |a\pm b|^{m}\leq C_{m}(|a|^{m}+|b|^{m})}$

für alle ${\displaystyle a,b\in \mathbb {R} ,m\in \mathbb {N} }$, mit ${\displaystyle C_{m}=2^{m-1}}$.

Diese Ungleichung folgt aus der Jensenschen Ungleichung in der Form (${\displaystyle r,m\in \mathbb {N} ,a_{i}>0}$):

${\displaystyle {\frac {1}{r^{m}}}(a_{1}+...+a_{r})^{m}\leq {\frac {1}{r}}(a_{1}^{m}+...+a_{r}^{m})}$

(im Beweis ist ${\displaystyle r=2}$.)

Sei ${\displaystyle (\Omega ,{\mathcal {S}},P)}$ ein Wahrscheinlichkeitsraum.

a) Für ${\displaystyle m\in \mathbb {N} }$ bezeichnet ${\displaystyle {\mathcal {L}}_{m}\equiv {\mathcal {L}}_{m}(P)}$ die Menge aller Zufallsvariablen auf ${\displaystyle (\Omega ,{\mathcal {S}})}$ mit ${\displaystyle E|X|^{m}<\infty }$. Für ${\displaystyle X\in {\mathcal {L}}_{m}}$ heißt ${\displaystyle E|X|^{m}}$ das absolute ${\displaystyle m}$-te Moment (${\displaystyle E(X^{m})}$ das ${\displaystyle m}$-te).

b) Für ${\displaystyle X\in {\mathcal {L}}_{m}}$ führt man noch ein: das ${\displaystyle m}$-te zentrierte Moment ${\displaystyle E((X-EX)^{m})}$ und das absolute ${\displaystyle m}$-te zentrierte Moment ${\displaystyle E(|X_{E}X|^{m})}$.

c) Speziell für ${\displaystyle X\in {\mathcal {L}}_{2}}$ heißt ${\displaystyle Var(X)=E(X_{E}X)^{2}}$ Varianz von ${\displaystyle X}$ und ${\displaystyle \sigma (X)={\sqrt {Var(X)}}}$ Standardabweichung von ${\displaystyle X}$. Wie bereits bei diskreten Zufallsvariablen gilt auch hier ${\displaystyle Var(aX+b)=a^{2}Var(X)}$ und ${\displaystyle Var(X)=E(X^{2}-(EX)^{2})}$.

Ferner gilt:

• ${\displaystyle Var(X)=0}$ genau dann, wenn ${\displaystyle P(X=const)=1}$ ('${\displaystyle X=const.}$, ${\displaystyle P}$ fast überall').
• ${\displaystyle EX^{2}=0}$ genau dann, wenn ${\displaystyle P(X=0)=1}$ ('${\displaystyle X=0}$, ${\displaystyle P}$ fast überall')

${\displaystyle X}$ gleichverteilt auf ${\displaystyle [a,b]}$, ${\displaystyle a<b}$. Dann ist ${\displaystyle X^{*}={\frac {X-a}{b-a}}}$ gleichverteilt auf ${\displaystyle [0,1]}$ und

${\displaystyle EX^{*}=\int _{0}^{1}x\cdot 1\cdot dx={\frac {1}{2}}{\stackrel {X=a+(b-a)X^{*}}{\mapsto }}EX=a\cdot {\frac {1}{2}}(b-a)={\frac {1}{2}}(a+b)}$

${\displaystyle E(X^{*})=\int _{0}^{1}x\cdot 1\cdot dx={\frac {1}{3}}}$

${\displaystyle Var(X^{*})={\frac {1}{3}}+{\frac {1}{4}}={\frac {1}{12}},}$

also ${\displaystyle Var(X)={\frac {1}{12}}(b-a)^{2}}$.

${\displaystyle X}$ exponentialverteilt mit Parameter ${\displaystyle \lambda >0}$

${\displaystyle EX=\int _{0}^{\infty }x\cdot \lambda \cdot e^{-\lambda x}\cdot dx{\stackrel {x=\lambda x}{=}}{\frac {1}{\lambda }}\int _{0}^{\infty }s\cdot e^{-x}\cdot ds={\frac {1}{\lambda }}}$

${\displaystyle EX^{2}=\int _{0}^{\infty }x^{2}\cdot \lambda \cdot e^{-\lambda x}{\stackrel {s=\lambda x}{=}}{\frac {1}{\lambda ^{2}}}\int _{0}^{\infty }s^{2}\cdot e^{-s}\cdot ds={\frac {2}{\lambda ^{2}}}}$

${\displaystyle Var(X)={\frac {2}{\lambda ^{2}}}-{\frac {1}{\lambda ^{2}}}={\frac {1}{\lambda ^{2}}}}$

Normalverteilung ${\displaystyle N(\mu ,\sigma ^{2})}$

Ist ${\displaystyle X}$ ${\displaystyle N(\mu ,\sigma )}$-verteilt, dann ist ${\displaystyle X^{*}={\frac {X-\mu }{\sigma }}}$ ${\displaystyle N(0,1)}$-verteilt. Es gilt:

${\displaystyle EX^{*}=\int _{-\infty }^{\infty }|x>e^{-{\frac {1}{2}}x^{2}}dx=0}$

wegen ${\displaystyle \phi (x)=\phi (-x)}$ und wegen ${\displaystyle \int _{\infty }^{\infty }|x>e^{\frac {1}{2x^{2}}}dx<\infty .}$

Ferner:

${\displaystyle Var(X^{*})=E(X^{*})^{2}=\int _{-\infty }^{\infty }x\cdot x\phi (x)dx=\int _{-\infty }^{\infty }\phi (x)dx=1}$

Es folgt für ${\displaystyle X=\mu +\sigma X^{*}}$: ${\displaystyle EX=\mu }$, ${\displaystyle Var(X)=\sigma ^{2}.}$

Die ${\displaystyle N(\mu ,\sigma ^{2})}$-Verteilung kann also als Normalenverteilung mit Erwartungswert ${\displaystyle \mu }$ und Varianz ${\displaystyle \sigma ^{2}}$ charakterisiert werden.

Den Anschluss an die Lineare Algebra/Funktionalanalysis liefert der folgende Satz.

Seien ${\displaystyle (\Omega ,{\mathcal {S}},P)}$ und ${\displaystyle m\in \mathbb {N} }$ vorgegeben.

a) ${\displaystyle {\mathcal {L}}_{m}}$ ist ein linearer Raum.

b) ${\displaystyle {\mathcal {L}}_{n}\subset {\mathcal {L}}_{m}}$ für alle ${\displaystyle n\geq m}$. D.h. aus ${\displaystyle E|X|^{n}<\infty }$ für ein ${\displaystyle n\in \mathbb {N} }$ folgt ${\displaystyle E|X|^{m}<\infty }$ für ${\displaystyle m\leq n}$, insbesondere ist ${\displaystyle E|X|<\infty }$.

a) Majorantenkriterium und die Ungleichung des letzten Satzes liefern für ${\displaystyle a,b\in \mathbb {R} }$:

${\displaystyle |aX+bY|^{m}\leq C_{m}(|a|^{m}|X|^{m}+|b|^{m}|Y|^{m})}$

b) Sei ${\displaystyle E|X|^{n}<\infty }$. Dann gilt für ${\displaystyle m\leq n}$ wegen ${\displaystyle |X|^{m}\leq 1\cdot 1_{\lbrace |X|\leq 1\rbrace }+|X|1_{\lbrace |X|\geq 1\rbrace }\leq 1+|X|^{n}}$ auch ${\displaystyle E|X|^{m}<\infty }$.

Wichtig sind die folgenden stochastischen Ungleichungen.

Markov-Ungleichung:

Ist ${\displaystyle X\in {\mathcal {L}}_{m}}$ für ein ${\displaystyle m\in \mathbb {N} }$, so gilt für jedes ${\displaystyle \epsilon <0}$:

${\displaystyle P(|X|\geq \epsilon )\leq {\frac {E|X|^{m}}{\epsilon ^{m}}}}$

Tschebyschoff-Ungleichung:

Insbesondere für ${\displaystyle X\in {\mathcal {L}}_{2}}$:

${\displaystyle P(|X-EX|\geq \epsilon )\leq {\frac {Var(X)}{\epsilon ^{2}}}}$

Wiederholte Anwendung der Monotonieeigenschaften von ${\displaystyle E}$:

${\displaystyle E|X|^{m}\geq E(|X|^{m}1_{\lbrace |X|\geq 1\rbrace })\geq \epsilon ^{m}E(1_{\lbrace |X|\geq 1\rbrace })=\epsilon P(|X|\geq \epsilon )}$

setzt man in die Markov-Ungleichung speziell ${\displaystyle X-EX}$ statt ${\displaystyle X}$ ein, sowie ${\displaystyle m=2}$, so erhält man die Tschebyschoff-Ungleichung.

Für Zufallsvariablen ${\displaystyle X,Y\in {\mathcal {L}}_{2}}$ gilt ${\displaystyle X\cdot Y\in {\mathcal {L}}_{1}}$ und ${\displaystyle [E(X\cdot Y)]^{2}\leq E(X)^{2}\cdot E(Y)^{2}}$. Das '='-Zeichen gilt genau dann, wenn ${\displaystyle aX+bY=0}$, ${\displaystyle P}$ fast überall für ${\displaystyle a,b,a^{2}+b^{2}>0}$.

Im linearen Raum ${\displaystyle {\mathcal {L}}_{2}}$ können wir ein 'Fast-Skalarprodukt' einführen:

Für ${\displaystyle X,Y\in {\mathcal {L}}_{1}}$ setze ${\displaystyle \langle X,Y\rangle =E(X,Y)}$. ${\displaystyle \langle \cdot ,\cdot \rangle }$ ist dann eine bilineare, symmetrische, positiv semidefinite ( ${\displaystyle \langle X,X\rangle \geq 0}$) Form. Aus ${\displaystyle \langle X,X\rangle =0}$ folgt aber nur ${\displaystyle X=0}$ fast überall (und nicht ${\displaystyle X=0}$) .

Sind ${\displaystyle X,Y\in {\mathcal {L}}_{2}}$, dann heißen

a) ${\displaystyle Cov(X,Y)=E((X-EX)\cdot (Y-EY))=E(X\cdot Y)-E(X)\cdot E(Y)}$ die Kovarianz von ${\displaystyle X}$ und ${\displaystyle Y}$.

b) ${\displaystyle X,Y}$ unkorreliert, falls ${\displaystyle Cov(X,Y)=0}$.

c) ${\displaystyle \rho (X,Y)={\frac {Cov(X,Y)}{\sigma (X)\sigma (Y)}}}$ Korrelation (oder Korrelationskoeffizient) von ${\displaystyle X}$ und ${\displaystyle Y}$, sofern ${\displaystyle \sigma (X),\sigma (Y)>0}$.

Die Folgerungen für diskrete Zufallsvariablen bezüglich der Kovarianz gelten weiterhin sowie die Eigenschaften von der Varianz und der Kovarianz. Im Hinblick auf die obige Bemerkung gilt: ${\displaystyle X,Y}$ unkorreliert, falls ${\displaystyle X-EX\perp Y-EY}$ (bezüglich ${\displaystyle \langle \cdot ,\cdot \rangle }$).

Momente der ${\displaystyle k}$-dimensionalen Normalverteilung.

Ist ${\displaystyle X=(X_{1},...,X_{k})}$ ${\displaystyle N_{k}(\mu ,\Sigma )}$-verteilt, ${\displaystyle \mu =(\mu _{1},...,\mu _{k})^{T}\in \mathbb {R} ^{k},\Sigma =(\sigma _{i,j})}$ symmetrische, positiv definite ${\displaystyle k\times k}$-Matrix.

Behauptung:

${\displaystyle EX_{i}=\mu _{i},Cov(X_{i},X_{j})=\sigma _{i,j}}$

Die Parameter ${\displaystyle \mu ,\Sigma }$ der ${\displaystyle N_{k}(\mu ,\Sigma )}$-Verteilung bilden also den Erwartungswert-Vektor bzw. die Matrix der Kovarianz (Cov-Matrix) des ${\displaystyle N_{k}(\mu ,\Sigma )}$-verteilten Zufallvektors ${\displaystyle X}$.

Für diskrete Zufallsvariablen ${\displaystyle X}$ mit Werten ${\displaystyle \mathbb {Z} _{+}}$ erwies sich die erzeugende Funktion

${\displaystyle G(s)=Es^{X}=\sum _{k=0}^{\infty }s^{k}P_{X}\lbrace k\rbrace }$ als nützlich, und zwar bei der Berechnung von Momenten, Faltungen und Grenzverteilungen.

Eine vergleichbare Funktion hat die charakteristische Funktion in der allgemeinen Wahrscheinlichkeitstheorie, in der ${\displaystyle X}$ eine beliebige Zufallsvariable ist. Anstelle des Erwartungswertes ${\displaystyle s^{X}}$ (der nicht notwendigerweise existiert) bildet man den Erwartungswert der komplexwertigen Variablen "${\displaystyle e^{iX}}$".

Für eine komplexe Zahl ${\displaystyle z=a+bi,a=Re(z)\in \mathbb {R} ,b=Im(z)\in \mathbb {R} }$ setze man ${\displaystyle |z|={\sqrt {a^{2}+b^{2}}}={\sqrt {z\cdot {\bar {z}}}}}$. Es ist ${\displaystyle z=r\cdot e^{i\phi }}$ mit ${\displaystyle r=|z|,e^{i\phi }=cos(\phi )+i\sin(\phi )}$. Es gilt ${\displaystyle |z\cdot w|=|z|\cdot |w|}$.

Sei ${\displaystyle (\Omega ,{\mathcal {S}},P)}$ ein Wahrscheinlichkeitsraum.

a) Sind ${\displaystyle z_{1},z_{2}}$ Zufallsvariablen auf ${\displaystyle (\Omega ,{\mathcal {S}})}$, (${\displaystyle z_{i}:\Omega \to \mathbb {R} }$) so bildet ${\displaystyle z=z_{1}+iz_{2}}$ eine komplexwertige Zufallsgröße auf ${\displaystyle (\Omega ,{\mathcal {S}})}$, (${\displaystyle z:\Omega \to \mathbb {C} }$).

b) Existieren ${\displaystyle E(z_{1}),E(z_{2})}$, so heißt die komplexe Zahl ${\displaystyle E(z):=E(z_{1})+iE(z_{2})}$ Erwartungswert von ${\displaystyle z}$.

a) Sind ${\displaystyle z,{\bar {z}}}$ komplexe Zufallsgrößen und existieren ${\displaystyle E(z),E({\bar {z}})}$, so gilt:

${\displaystyle E(z+{\bar {z}})=E(z)+E({\bar {z}})}$

${\displaystyle E(v\cdot z)=v\cdot E(z),v\in \mathbb {C} }$

b) ${\displaystyle |E(z)|\leq E(|z|)<\infty }$.

Sei ${\displaystyle X}$ eine Zufallsvariable auf ${\displaystyle (\Omega ,{\mathcal {S}})}$, so heißt die komplexwertige Funktion ${\displaystyle \phi _{X}:\mathbb {R} \to \mathbb {C} }$:

${\displaystyle \phi _{X}(t)\equiv \phi (t)=e^{itx}=E(cos(tx))+iE(sin(tx))}$

charakteristische Funktion von ${\displaystyle X}$.

• Aus ${\displaystyle e^{itx}=cos(tx)+isin(tx)}$ folgt wegen ${\displaystyle |cos(tx)|\leq 1}$, ${\displaystyle |sin(tx)|\leq 1}$ die Existenz von ${\displaystyle E(cos(tx))}$ und ${\displaystyle E(sin(tx))}$, also von ${\displaystyle (e^{ixt})}$.

• Beispiele für charakteristische Funktionen:
  • ${\displaystyle \phi _{X}(t)=1}$
  • ${\displaystyle \phi _{X}(t)=cos(t)}$
  • ${\displaystyle \phi _{X}(t)=e^{-{\frac {t^{2}}{2}}}}$
  • ${\displaystyle \phi _{X}(t)=e^{e^{it}-1}}$
  • ${\displaystyle \phi _{X}(t)={\frac {1}{1+it}}}$
  • ${\displaystyle \phi _{X}(t)={\frac {1}{it}}(e^{it}-1),(\phi _{X}(0)=1}$
  • ${\displaystyle \phi _{X}(t)=e^{-|t|}}$
  • ${\displaystyle \phi _{X}(t)=(1-|t|)1_{[-1,1]}(t)}$

• Keine charakteristischen Funktionen sind:
  • ${\displaystyle \phi (t)=sin(t)}$
  • ${\displaystyle \phi (t)=1-t^{2}}$
  • ${\displaystyle \phi (t)=1_{[-1,1]}(t)}$
  • ${\displaystyle \phi (t)=e^{-|t|^{2}}}$

• Wegen ${\displaystyle |e^{itx}|=1}$ gilt ${\displaystyle |\phi (t)|=|E(e^{itx})|\leq E(|e^{ixt}|)=E(1)=1}$, ${\displaystyle \phi (0)=E(1)=1}$.
• ${\displaystyle \phi _{X}}$ ist gleichmäßig stetig. (ohne Beweis)
• ${\displaystyle \phi _{aX+b}(t)=E(e^{it(aX+b)})=e^{itb}\cdot E(e^{itaX})=itb\cdot \phi _{X}(ta),a,b\in \mathbb {R} .}$

• Ist ${\displaystyle X}$ eine Zufallsvariable mit Werten in ${\displaystyle \mathbb {Z} _{+}}$, so ist

${\displaystyle \phi _{X}(t)=E(e^{itx})=E(cos(tx))+iE(sin(tx))}$

${\displaystyle =\sum _{k=0}^{\infty }cos(tk)\cdot P(X=k)+i\sum _{k=0}^{\infty }sin(tk)\cdot P(X=k)}$

${\displaystyle =\sum _{k=0}^{\infty }(e^{it})^{k}\cdot P(\lbrace k\rbrace )}$

(vgl. mit ${\displaystyle g_{x}(s)=E(s^{x})=\sum _{k=k}^{\infty }sk\cdot P_{x}(\lbrace k\rbrace ),s\in [0,1]}$) Also (!) lautet die charakteristische Gleichung von ${\displaystyle X}$:

• ${\displaystyle X}$ ${\displaystyle B(n,p)}$-verteilt: ${\displaystyle \phi _{X}(t)=(1-p+pe^{it})^{n},t\in \mathbb {R} }$

• ${\displaystyle X}$ ${\displaystyle P(\lambda )}$-verteilt: ${\displaystyle \phi _{X}(t)=e^{\lambda e^{it}-1},t\in \mathbb {R} }$

${\displaystyle X}$ exponentialverteilt mit Paramter ${\displaystyle \lambda >0}$:

${\displaystyle \phi _{X}(t)={\frac {\lambda }{\lambda -it}},t\in \mathbb {R} }$

${\displaystyle X}$ sei ${\displaystyle N(0,1)}$-verteilt:

${\displaystyle \phi _{X}(t)=E(e^{itx})=E(cos(tx))+iE(sin(tx))}$

${\displaystyle =\int _{-\infty }^{\infty }(cos(tx)){\frac {1}{\sqrt {2\pi }}}e^{-{\frac {x^{2}}{2}}}dx+i\int _{-\infty }^{\infty }(sin(tx)){\frac {1}{\sqrt {2\pi }}}e^{-{\frac {x^{2}}{2}}}dx}$

${\displaystyle \Rightarrow \phi '_{X}(t)=\int _{-\infty }^{\infty }(sin(tx)){\frac {1}{\sqrt {2\pi }}}(-x)e^{-{\frac {x^{2}}{2}}}dx}$

${\displaystyle =[(sin(tx)){\frac {1}{\sqrt {2\pi }}}(-x)e^{-{\frac {x^{2}}{2}}}]_{-\infty }^{\infty }}$

${\displaystyle =\int _{-\infty }^{\infty }t\cdot cos(tx){\frac {1}{\sqrt {2\pi }}}e^{-{\frac {x^{2}}{2}}}dx}$

${\displaystyle =-t\cdot \phi _{X}(t){\frac {d}{dt}}(\phi _{X}(t)\cdot e^{-{\frac {x^{2}}{2}}})}$

${\displaystyle =\phi '_{X}(t)\cdot e^{-{\frac {x^{2}}{2}}}+\phi _{X}(t)\cdot t\cdot e^{-{\frac {x^{2}}{2}}}}$

${\displaystyle =e^{-{\frac {x^{2}}{2}}}[\phi '_{X}(t)+t\phi _{X}(t)]=0}$

${\displaystyle \Rightarrow \phi _{X}(t)\cdot e^{-{\frac {x^{2}}{2}}}=c=const.}$

${\displaystyle \Rightarrow \left\{{\begin{array}{ll}\phi _{X}(t)=c\cdot e^{-{\frac {x^{2}}{2}}}\\\phi _{X}(0)=1\Rightarrow c=1\end{array}}\right\}}$

${\displaystyle \Rightarrow \phi _{X}(t)=e^{-{\frac {x^{2}}{2}}}}$

${\displaystyle X}$ sei ${\displaystyle N(0,1)}$-verteilt ${\displaystyle \Rightarrow \phi _{X}(t)=?}$

${\displaystyle X=\sigma \Gamma +\mu ,\Gamma }$ ${\displaystyle N(0,1)}$-verteilt.

${\displaystyle \Rightarrow \phi _{X}(t)\cdot e^{it\mu }\cdot \phi _{Y}(\sigma t)=e^{it\mu }\cdot e^{-{\frac {1}{2}}\sigma ^{2}t^{2}}.}$

Seien ${\displaystyle X,Y}$ Zufallsvariablen. Dann gilt:

${\displaystyle \phi _{X}=\phi _{Y}\Leftrightarrow P_{X}=P_{Y}}$

Sind ${\displaystyle X,Y}$ unabhängige Zufallsvariablen, so gilt ${\displaystyle \phi _{X+Y}=\phi _{X}+\phi _{y}}$.

${\displaystyle \phi _{X+Y}=E(e^{it(x+y)})=E(e^{itx}\cdot e^{ity})=E(e^{itx})\cdot E(e^{ity})=\phi _{X}+\phi _{Y}}$

Für den obigen Beweis wurde der folgende Hilfssatz genutzt.

Seien ${\displaystyle X,Y}$ unabhängige Zufallsvariablen, ${\displaystyle f=f_{1}+f_{2}}$, ${\displaystyle g=g_{1}+g_{2}}$ komplexwertige Funktionen, so gilt, falls ${\displaystyle E(f(x)),E(g(x))}$ existieren:

${\displaystyle E(f(x)\cdot g(y))=E(f(x))\cdot E((y))}$

Es gilt ${\displaystyle N(\mu _{1},\sigma _{1}^{2})\times N(\mu _{2},\sigma _{2}^{2})=N(\mu _{1}+\mu _{2},\sigma _{1}^{2}+\sigma _{2}^{2})}$.

Sei ${\displaystyle X_{1}}$ ${\displaystyle N(\mu _{1},\sigma _{1}^{2})}$-verteilt und ${\displaystyle X_{2}}$ ${\displaystyle N(\mu _{2},\sigma ^{2})}$-verteilt, mit ${\displaystyle X_{1},X_{2}}$ unabhängig.

${\displaystyle \phi _{X_{1}+X_{2}}(t)=\phi _{X_{1}}\cdot \phi _{X_{2}}(t)=e^{it\mu _{1}}\cdot e^{{\frac {1}{2}}\sigma _{1}^{2}t^{2}}\cdot e^{it\mu _{2}}\cdot e^{-{\frac {1}{2}}\sigma _{2}^{2}t^{2}}}$

${\displaystyle =e^{it(\mu _{1}+\mu _{2})}\cdot e^{-{\frac {1}{2}}(\sigma _{1}^{2}+\sigma _{2}^{2})t^{2}}}$

${\displaystyle \Rightarrow {\text{Behauptung}}.}$

Für die Zufallsvariable ${\displaystyle X}$ existieren ${\displaystyle E(X^{m})}$ für ein ${\displaystyle \in \mathbb {N} }$. Dann ist die charakteristische Funktion ${\displaystyle \phi _{X}}$ ${\displaystyle m}$-mal stetig differenzierbar mit

${\displaystyle \phi _{X}^{(m)}(0)=i^{m}E(X^{m})}$

(für ${\displaystyle m}$ gerade gilt auch die Umkehrung).

• Kurs:Stochastik