Kurs:Stochastik/Erzeugende Funktionen

Erzeugende Funktionen nützen bei der Berechnung von

• Momenten,
• Faltung,
• Grenzwerten von Wahrscheinlichkeiten

Ist ${\displaystyle X}$ eine Zufallsvariable auf ${\displaystyle (\Omega ,P)}$ mit Werten in ${\displaystyle \mathbb {Z} _{+}}$, so heißt

${\displaystyle G_{X}(s)=G_{P_{X}}(s)=\sum _{k=0}^{\infty }s^{k}P_{X}\lbrace k\rbrace ,0\leq s\leq 1}$

die erzeugende Funktion von ${\displaystyle X}$ (von ${\displaystyle P_{X}}$).

Wegen ${\displaystyle \sum _{k=0}^{\infty }P\lbrace k\rbrace =1}$ stellt ${\displaystyle G_{X}}$ eine Potenzreihe dar mit Konvergenzradius ${\displaystyle \geq 1}$. Somit ist ${\displaystyle G_{X}}$ wohldefiniert und beliebig oft differenzierbar in ${\displaystyle [0,1]\setminus \lbrace 1\rbrace }$.

1. Wegen ${\displaystyle {\frac {d^{n}}{ds^{n}}}G_{X}|_{s=0}=n!P_{X}\lbrace n\rbrace ,n\in \mathbb {Z} _{+}}$ so dass die Zuordnung ${\displaystyle P_{X}\to G_{X}(s)}$ injektiv ist.

2. Man beachte auch die folgende Schreibweise: ${\displaystyle G_{X}(s)=EX^{2}}$.

3. Für unabhängige Zufallsvariablen ${\displaystyle X_{1},...,X_{n}}$ mit Werten in ${\displaystyle \mathbb {Z} _{+}}$ gilt:

${\displaystyle G_{X_{1},...,X_{n}}(s)=Es^{X_{1}}\cdot ...\cdot s^{X_{n}}=Es^{X_{1}}\cdot ...\cdot Es^{X_{n}}=G_{X_{1}}(s)\cdot ...\cdot G_{X_{n}}(s)}$

Sei ${\displaystyle X}$ eine Zufallsvariable mit Werten in ${\displaystyle \mathbb {Z} _{+}}$.

a) Der (linksseitige) Grenzwert ${\displaystyle G'_{X}(1-)={lim}_{s\uparrow 1}G'(s)}$ existiert genau dann, wenn ${\displaystyle E(X)}$ existiert. In diesem Fall ist ${\displaystyle E(X)=G'(1-)}$.

b) Es existiere ${\displaystyle E(X)}$. ${\displaystyle G''(1-)}$ existiert genau dann, wenn ${\displaystyle E(X^{2})}$ existiert. In diesem Fall ist ${\displaystyle Var(X)={G''}_{X}(1-)+G'_{X}(1-)-(G'_{X}(1-))^{2}}$.

a) Zunächst gilt für ${\displaystyle s\in [0,1]\setminus \lbrace 1\rbrace }$:

${\displaystyle G'_{X}(s)=\sum _{k=1}^{\infty }ks^{k-1}P_{X}\lbrace k\rbrace }$

i) Sei ${\displaystyle E(X)<\infty }$.

${\displaystyle G'_{X}(s)\leq \sum _{k=1}^{\infty }kP_{x}\lbrace k\rbrace =E(X)<\infty }$

Also auch

${\displaystyle {lim}_{s\uparrow 1}G'_{X}(s)\equiv G'_{X}(1-)\leq E(X).}$

ii) Sei ${\displaystyle G'_{X}(1-)<\infty }$. Für ${\displaystyle s\in [0,1]\setminus \lbrace 1\rbrace }$ gilt:

${\displaystyle \sum _{k=1}^{\infty }ks^{k-1}P_{X}\lbrace k\rbrace \leq G'_{X}(s)\leq {lim}_{n\uparrow 1}G_{X}'(n)=G'_{X}(1-)<\infty }$

Also auch beliebige ${\displaystyle s\uparrow 1}$:

${\displaystyle \sum _{k=1}^{\infty }ks^{k-1}P_{X}\lbrace k\rbrace \leq G'_{X}(1-)}$

und bei ${\displaystyle n\uparrow \infty }$:

${\displaystyle E(X)\leq G'_{X}(1-)<\infty }$

Aus i) und ii) ferner:

${\displaystyle G'_{X}(1-)\leq E(X)\leq G'_{X}(1-)}$

b) Vorbemerkung: ${\displaystyle E(X^{2})<\infty }$ genau dann, wenn ${\displaystyle E(X(X-1))<\infty .}$

Ausgehend von ${\displaystyle G''_{X}(s)=\sum _{k=2}^{\infty }k(k-1)s^{k-2}P_{X}\lbrace k\rbrace ,s\in [0,1]\setminus \lbrace 1\rbrace }$, zeigt man wie in a) die gleichzeitige Existenz von ${\displaystyle E(X(X-1))}$ und ${\displaystyle G''_{X}(1-)}$. In welchem Fall dann ${\displaystyle E(X(X-1))=G''_{X}(s)}$ ist. Die Verschiebungsformel schließlich liefert ${\displaystyle Var(X)=E(X(X-1))+E(X)-E(X^{2})}$.

Sei ${\displaystyle X}$ ${\displaystyle B(n,p)}$-verteilt, so rechnet man mit ${\displaystyle q=1-p}$.

${\displaystyle G_{X}(s)=\sum _{k=0}^{n}{\binom {n}{k}}(p\cdot s)^{k}q^{n-k}=(q+ps)^{n},}$ ${\displaystyle s\in \mathbb {R} }$

Ableitung an der Stelle 1 liefert:

${\displaystyle G'_{X}(1)=n(q+ps)^{n-1}\cdot p|_{s=1}=np=E(X)}$

${\displaystyle G''_{X}(1)=n(n-1)(q+ps)^{n-2}\cdot p^{2}|_{s=1}=n(n-1)p^{2}}$

${\displaystyle \to Var(X)=n(n-1)p^{2}+np-(np)^{2}=np(1-p)}$

Seien ${\displaystyle X_{1},X_{2}}$ unabhängige ${\displaystyle B(n_{1},p)}$ beziehungsweise ${\displaystyle B(n_{2},p)}$-verteilte Zufallsvariablen. Aus Bemerkung 3 folgt:

${\displaystyle G_{X_{1}+X_{2}}(s)=G_{X_{1}}(s)\cdot G_{X_{2}}(s)=(q+ps)^{n_{1}+n_{2}}}$

d.h. ${\displaystyle P_{X_{1}+X_{2}}}$ ist die ${\displaystyle B(n_{2}+n_{2},p)}$-Verteilung (mit Bemerkung 1), kurz:

${\displaystyle B(n_{1},p)\ast B(n_{2},p)=B(n_{1}+n_{2},p)}$

Ist ${\displaystyle X}$ ${\displaystyle P(\lambda )}$-verteilt, so ist

${\displaystyle G_{X}(s)=\sum _{k=0}^{\infty }{\frac {(\lambda s)^{k}}{k!}}\cdot e^{-\lambda }=e^{\lambda s}e^{-\lambda }=e^{\lambda (s-1)},e\in \mathbb {R} .}$

Ableitung an der Stelle 1:

${\displaystyle G'_{X}(1)=\lambda e^{\lambda (s-1)}|_{s=1}=\lambda }$

${\displaystyle G''_{X}(1)=\lambda ^{2}e^{\lambda (s-1)}|_{s=1}=\lambda ^{2}}$

${\displaystyle Var(X)=\lambda ^{2}+\lambda -\lambda ^{2}=\lambda }$

(Erwartungswert und Varianz jeweils gleich ${\displaystyle \lambda }$).

Sind ${\displaystyle X_{1}}$ und ${\displaystyle X_{2}}$ unabhängige, ${\displaystyle P(\lambda _{1})}$- beziehungsweise ${\displaystyle P(\lambda _{2})}$-verteilte Zufallsvariablen, so gilt:

${\displaystyle G_{X_{1}+X_{2}}(s)=e^{(\lambda _{+}\lambda _{2})(s-1)}}$

d.h. ${\displaystyle P(\lambda _{1})\ast P(\lambda _{2})=P(\lambda _{1}+\lambda _{2})}$, mit Bemerkung 1.

(${\displaystyle (NB(n,p)),n\in \mathbb {N} ,0\leq p\leq 1}$, setze ${\displaystyle q=1-p}$)

Eine Wahrscheinlichkeitsverteilung auf ${\displaystyle \mathbb {Z} }$ mit der Wahrscheinlichkeitsfunktion

${\displaystyle p_{k}={\binom {n+k-1}{k}}\cdot p^{n}\cdot q^{k},k=0,1,...}$

heißt negative Binominalverteilung. Man kann auch schreiben

${\displaystyle p_{k}={\binom {-n}{k}}(-1)^{k}p^{n}q^{k},}$

wobei ${\displaystyle {\binom {r}{k}}={\frac {(r)_{k}}{k!}},r\in \mathbb {R} .}$

Im Spezialfall ${\displaystyle n=1}$ spricht man von einer geometrischen Verteilung: ${\displaystyle P_{k}=q\cdot p^{k},k=0,1,...}$.

Zählt ${\displaystyle X}$ die Anzahl der 'Misserfolge' 0 bis zum Auftreten des n-ten 'Erfolges' 1 (unabhängige Wiederholungen), so ist ${\displaystyle X}$ ${\displaystyle NB(n,p)}$-verteilt, ${\displaystyle p=P\lbrace 1\rbrace >0}$.

Man rechnet ${\displaystyle G_{X}(s)=({\frac {p}{1-ps}})^{n},0\leq s\leq {\frac {1}{q}}}$ (Binomische Reihe)

${\displaystyle E(X)=n{\frac {q}{p}}=\mu ,Var(X)=n{\frac {q}{p^{2}}}\sigma ^{2}.}$

(${\displaystyle \sigma ^{2}={\frac {\mu }{p}}>\mu }$, 'overdispension')

Es gilt:

${\displaystyle NB(1,p)\ast ...\ast NB(1,p)=NB(n,p)}$ (n-mal verknüpft)

Notation: Ist ${\displaystyle (p_{0},p_{1},...)}$ eine Wahrscheinlichkeitsfunktion auf ${\displaystyle \mathbb {Z} _{+}}$, (${\displaystyle p_{k}>0,\sum _{k=0}^{\infty }p_{k}=1}$), so bezeichnet ${\displaystyle G(s)=\sum _{k=0}^{\infty }s_{k}p_{k},0\leq s\leq 1}$, ihre erzeugende Funktion. Liegt eine Folge

${\displaystyle (p_{0}^{(n)},p_{1}^{(n)},...),n\geq 1}$

von Wahrscheinlichkeitsfunktionen auf ${\displaystyle \mathbb {Z} _{+}}$ vor, so konvergieren die Wahrscheinlichkeiten ${\displaystyle p_{k}^{(n)}}$ bei ${\displaystyle n\to \infty }$ genau dann, wenn die Folge der zugehörigen erzeugenden Funktionen

${\displaystyle G^{(n)}(s)=\sum _{k=0}^{\infty }s^{k}p_{k}^{(n)},0\leq s\leq 1,n\geq 1}$

konvergiert. Genauer:

Gegeben sei eine Folge von Wahrscheinlichkeitsfunktionen aus ${\displaystyle \mathbb {Z} _{+}}$, mit der Folge ${\displaystyle G^{(n)}}$ der zugehörenden erzeugenden Funktionen. Dann existieren die Limiten

${\displaystyle a_{k}=lim_{n\to \infty }p_{k}^{(n)}}$

für alle ${\displaystyle k=0,1,...}$ genau dann, wenn der Limes

${\displaystyle A(s)=lim_{n\to \infty }G^{(n)}(s)}$

für alle ${\displaystyle s\in (0,1)}$ existiert. In diesem Fall ist

${\displaystyle A(s)=\sum _{k=0}^{\infty }s^{k}a_{k}.}$

Aus der ersten Formel folgt mit ${\displaystyle a_{k}>0}$ und ${\displaystyle \sum _{k=0}^{\infty }a_{k}\leq 1}$. (${\displaystyle a_{0},a_{1},...}$ bilden nicht notwendigerweise eine Wahrscheinlichkeitsfunktion).

i) Wir nehmen ${\displaystyle a_{k}=lim_{n\to \infty }p_{k}^{(n)}}$ an und definieren ${\displaystyle A(s)}$ durch ${\displaystyle A(s)=\sum _{k=0}^{\infty }s^{k}a_{k}}$. Wegen ${\displaystyle |p_{k}^{(n)}-G_{k}|\leq 1}$ gilt für ${\displaystyle s\in (0,1)}$:

${\displaystyle |G^{(n)}(s)-A(s)|\leq \sum _{k=0}^{r}|p_{k}^{(n)}-a_{k}|s^{k}+\sum _{k=r+1}^{\infty }s^{k}}$

Zu ${\displaystyle \epsilon >0}$ wähle ${\displaystyle r}$ so groß, dass ${\displaystyle {\frac {s^{r}}{1-s}}<\epsilon }$. Dann ${\displaystyle lim_{n\to \infty }|G^{(n)}(s)-A(s)|\leq \epsilon }$.

ii) Gelte nun die zweite Gleichung. Wir zeigen die erste sukzessive für ${\displaystyle k=0,1,...}$.

Zunächst ${\displaystyle k=0}$:

${\displaystyle p_{0}^{(n)}\leq G^{(n)}(s)\leq p_{0}^{(n)}+\sum _{k=1}^{\infty }1s^{k}=p_{0}^{(n)}+{\frac {s}{1-s}},s\in (0,1)}$

Für jeden Häufungspunkt ${\displaystyle {\bar {p}}_{0}}$ der beschränkten Folge ${\displaystyle p_{0}^{(n)},n\geq 1}$, gilt demnach:

${\displaystyle A(s)-{\frac {s}{1-s}}\leq {\bar {p}}_{0}\leq A(s),}$ für alle ${\displaystyle s\in (0,1)}$

Wegen der Monotonie von ${\displaystyle A(s)}$ existiert also ${\displaystyle A(0)=lim_{s\to 0}A(s),}$ so dass die obige Gleichung bei ${\displaystyle s\downarrow 0}$ liefert:

(*) ${\displaystyle {\bar {p}}_{0}=A(0)=lim_{n}p_{0}^{(n)}}$.

Zu ${\displaystyle k=1}$:

Aus der zweiten Gleichung folgt:

${\displaystyle {\frac {G^{(n)}(s)-p_{0}^{(n)}}{s}}\Rightarrow ^{n\to \infty }{\frac {A(s)-A(0)}{s}}}$

links: Potenzreihe mit ${\displaystyle p_{1}^{(n)}}$ als Anfangsglied, rechts: Differenzenquotient, der gegen ${\displaystyle A'(0)}$ bei ${\displaystyle s\downarrow 0}$ konvergiert.

Analog zu ${\displaystyle k=0}$:

${\displaystyle p_{1}=A'(0)=lim_{n}p_{1}^{(n)}}$

(Poissonverteilung als Grenzwert der negativen Binominalverteilung)

Nach der Definition lautet die erzeugende Funktion der ${\displaystyle NB(n,p)}$ gleich ${\displaystyle ({\frac {1-q}{1-sq}})^{n}}$. Nun gehe ${\displaystyle n\to \infty }$, aber so, dass ${\displaystyle p=p_{n}\to 1}$, genauer:

Es gibt ein ${\displaystyle \lambda >0}$ mit (*) ${\displaystyle nq_{n}\to \lambda ,(q_{n}=1-p_{n})}$. Die Erzeugende Funktion der ${\displaystyle NB(n,p)}$ lautet dann mit ${\displaystyle \lambda _{n}=n\cdot q_{n}\to \lambda }$:

${\displaystyle G_{s}^{(n)}=({\frac {1-{\frac {\lambda _{n}}{n}}}{1-{\frac {\lambda _{n}s}{n}}}})^{n}\to {\frac {e^{-\lambda }}{e^{\lambda s}}}=e^{\lambda (s-1)}\equiv G(s),s\in \mathbb {R} }$

${\displaystyle G(s)}$ ist erzeugende Funktion der ${\displaystyle P(\lambda )}$-Verteilung. Also folgt aus dem Stetigkeitssatz:

${\displaystyle {\binom {n+k-1}{k}}p_{n}^{n}q_{n}^{k}\to e^{-\lambda }{\frac {\lambda _{n}}{k!}},}$ unter (*), ${\displaystyle k=0,1,...}$.

Für große ${\displaystyle n}$ ist ${\displaystyle k}$ die Anzahl der auftretenden Ereignisse ${\displaystyle E}$ ('Misserfolge') in einer langen Beobachtungsperiode, wobei ${\displaystyle E}$ eine sehr kleine Auftrittswahrscheinlichkeit ${\displaystyle q={\frac {\lambda }{n}}}$ hat.

Die Anwendung des Stetigkeitssatzes ist auf alle Fälle beschränkt, in denen die 'Grenzverteilung' die diskrete Wahrscheinlichkeitsverteilung ist. Der wichtigste Fall ist dabei gerade der mit einer 'stetigen Grenzverteilung' (später), so dass wir dort einen anderen Stetigketissatz benötigen werden.

• Kurs:Stochastik
• Momente
• Varianz
• Kovarianz

Diese Lernresource können Sie als Wiki2Reveal-Foliensatz darstellen.

Dieser Wiki2Reveal Foliensatz wurde für den Lerneinheit Kurs:Stochastik' erstellt der Link für die Wiki2Reveal-Folien wurde mit dem Wiki2Reveal-Linkgenerator erstellt.

• Die Seite wurde als Dokumententyp PanDocElectron-SLIDE erstellt.
• Link zur Quelle in Wikiversity: https://de.wikiversity.org/wiki/Kurs:Stochastik/Erzeugende%20Funktionen
• siehe auch weitere Informationen zu Wiki2Reveal und unter Wiki2Reveal-Linkgenerator.