Zur Konstruktion von Wahrscheinlichkeitsmaßen

Gegeben sei eine reelle Funktion

${\displaystyle f\colon \mathbb {R} \to \mathbb {R} }$, für die gilt:

• ${\displaystyle f}$ ist nichtnegativ, das heißt, ${\displaystyle f(x)\geq 0}$ für alle ${\displaystyle x\in \mathbb {R} }$.
• ${\displaystyle f}$ ist integrierbar.
• ${\displaystyle f}$ ist normiert in dem Sinne, dass

${\displaystyle \int _{-\infty }^{\infty }f(x)\,\mathrm {d} x=1}$.

Dann heißt ${\displaystyle f}$ eine Wahrscheinlichkeitsdichtefunktion und definiert durch

${\displaystyle P([a,b]):=\int _{a}^{b}f(x)\,\mathrm {d} x}$

eine Wahrscheinlichkeitsverteilung auf den reellen Zahlen.

Aus Wahrscheinlichkeitsmaßen abgeleitet

Gegeben sei eine Wahrscheinlichkeitsverteilung ${\displaystyle P}$ oder eine reellwertige Zufallsvariable ${\displaystyle X}$.

Existiert eine reelle Funktion ${\displaystyle f}$, sodass für alle ${\displaystyle a\in \mathbb {R} }$

${\displaystyle P((-\infty ,a])=\int _{-\infty }^{a}f(x)\,\mathrm {d} x}$

bzw.

${\displaystyle P(X\leq a)=\int _{-\infty }^{a}f(x)\,\mathrm {d} x}$

gilt, so heißt ${\displaystyle f}$ die Wahrscheinlichkeitsdichtefunktion von ${\displaystyle P}$ bzw. von ${\displaystyle X}$.

Konstruktion von Wahrscheinlichkeitsverteilungen

Das in der Definition beschriebene ${\displaystyle P}$ liefert wirklich eine Wahrscheinlichkeitsverteilung. Denn aus der Normiertheit folgt ${\displaystyle P(\mathbb {R} )=1}$. Dass die Wahrscheinlichkeiten alle positiv sind, folgt aus der Positivität der Funktion. Die σ-Additivität folgt aus dem Satz von der majorisierten Konvergenz mit der Wahrscheinlichkeitsdichtefunktion als Majorante und der Funktionenfolge

${\displaystyle f_{n}:=\sum _{i=1}^{n}f\chi _{A_{i}}}$,

mit paarweise disjunkten Mengen ${\displaystyle A_{i}}$.

Hierbei bezeichnet ${\displaystyle \chi _{A}}$ die charakteristische Funktion auf der Menge ${\displaystyle A}$.

Dass die Wahrscheinlichkeitsverteilung eindeutig ist, folgt aus dem Maßeindeutigkeitssatz und der Schnittstabilität des Erzeugers der Borelschen σ-Algebra, hier das Mengensystem der abgeschlossenen Intervalle.

Aus einer Wahrscheinlichkeitsdichtefunktion abgeleitet

Die zentrale Aussage über die Existenz einer Wahrscheinlichkeitsdichtefunktion zu einer vorgegebenen Wahrscheinlichkeitsverteilung ist der Satz von Radon-Nikodým:

Die Wahrscheinlichkeitsverteilung ${\displaystyle P}$ besitzt genau dann eine Wahrscheinlichkeitsdichtefunktion, wenn sie absolut stetig bezüglich des Lebesgue-Maßes ${\displaystyle \lambda }$ ist. Das bedeutet, dass aus ${\displaystyle \lambda (A)=0}$ immer ${\displaystyle P(A)=0}$ folgen muss.

Es kann durchaus mehr als eine solche Wahrscheinlichkeitsdichtefunktion existieren, aber diese unterscheiden sich nur auf einer Menge vom Lebesgue-Maß 0 voneinander, sind also fast überall identisch.

Somit können diskrete Wahrscheinlichkeitsverteilungen keine Wahrscheinlichkeitsdichtefunktion besitzen, denn für sie gilt immer ${\displaystyle P(\{k\})>0}$ für ein passendes Element ${\displaystyle k\in \mathbb {R} }$. Solche Punktmengen besitzen aber immer das Lebesgue-Maß 0, somit sind diskrete Wahrscheinlichkeitsverteilungen nicht absolut stetig bezüglich des Lebesgue-Maßes.

Grundlage

Die Wahrscheinlichkeit für ein Intervall lässt sich mit der Wahrscheinlichkeitsdichte ${\displaystyle f}$ berechnen als

${\displaystyle P(X\in [a,b])=\int _{a}^{b}f(x)\,\mathrm {d} x}$.

Diese Formel gilt ebenso für die Intervalle ${\displaystyle (a,b)}$, ${\displaystyle (a,b]}$ und ${\displaystyle [a,b)}$, denn es liegt in der Natur stetiger Zufallsvariablen, dass die Wahrscheinlichkeit für das Annehmen eines konkreten Wertes ${\displaystyle 0}$ ist. Formal ausgedrückt gilt:

${\displaystyle \forall x\in \mathbb {R} \colon \,P(X=x)=0}$

${\displaystyle P(a\leq X\leq b)=P(a<X\leq b)=P(a\leq X<b)=P(a<X<b)}$

Für komplexere Mengen kann die Wahrscheinlichkeit analog durch Integrieren über Teilintervalle ermittelt werden. Allgemein erhält die Wahrscheinlichkeit die Form

${\displaystyle P(X\in A)=\int _{A}f(x)\,\mathrm {d} x}$.

Hilfreich ist oft die σ-Additivität der Wahrscheinlichkeitsverteilung. Das bedeutet: Sind ${\displaystyle A_{1},A_{2},A_{3}\dotsc }$ paarweise disjunkte Intervalle und ist

${\displaystyle A=\bigcup _{i=1}^{\infty }A_{i}}$

die Vereinigung all dieser Intervalle, so gilt

${\displaystyle P(A)=P\left(\bigcup _{i=1}^{\infty }A_{i}\right)=\sum _{i=1}^{\infty }\int _{a_{i}}^{b_{i}}f(x)\,\mathrm {d} x}$.

Dabei sind die Intervalle von der Form ${\displaystyle A_{i}=(a_{i},b_{i})}$. Dies gilt auch für endlich viele Intervalle. Ist somit die Wahrscheinlichkeit von disjunkten Intervallen zu berechnen, so kann man entsprechend zuerst die Wahrscheinlichkeit jedes einzelnen Intervalles berechnen und diese Wahrscheinlichkeiten dann aufsummieren.

Beispiel: Zeit zwischen Anrufen in einem Callcenter

Die Zeit zwischen zwei Anrufen in einem Callcenter ist erfahrungsgemäß ungefähr exponentialverteilt zu einem Parameter ${\displaystyle \lambda }$ und besitzt demnach die Wahrscheinlichkeitsdichtefunktion

${\displaystyle f_{\lambda }(x)={\begin{cases}\displaystyle \lambda \mathrm {e} ^{-\lambda x}&x\geq 0,\\0&x<0\end{cases}}}$

vergleiche auch den Abschnitt Beispiele und den Artikel Poisson-Prozess. Dabei ist die x-Achse mit einer beliebigen Zeiteinheit versehen (Stunden, Minuten, Sekunden). Der Parameter ${\displaystyle \lambda }$ entspricht dann der mittleren Anzahl von Anrufen pro Zeiteinheit.

Die Wahrscheinlichkeit, dass der nächste Anruf ein bis zwei Zeiteinheiten nach dem vorangegangenen eintritt, ist dann

${\displaystyle P(X\in [1,2])=\int _{1}^{2}\lambda \mathrm {e} ^{-\lambda x}\,\mathrm {d} x=\left[-\mathrm {e} ^{-\lambda x}\right]_{1}^{2}=-\mathrm {e} ^{-2\lambda }+\mathrm {e} ^{-\lambda }}$.

Angenommen, eine Servicekraft im Callcenter benötigt fünf Zeiteinheiten für eine Pause. Die Wahrscheinlichkeit, dass sie keinen Anruf verpasst, ist gleich der Wahrscheinlichkeit, dass der nächste Anruf zum Zeitpunkt fünf oder später eingeht. Es ist damit

${\displaystyle P(X\geq 5)=1-P(X\leq 5)=1-\int _{0}^{5}\lambda \mathrm {e} ^{-\lambda x}\,\mathrm {d} x=1-\left[-\mathrm {e} ^{-\lambda x}\right]_{0}^{5}=1-\left(-\mathrm {e} ^{-5\lambda }+1\right)=\mathrm {e} ^{-5\lambda }}$

Zusammenhang von Verteilungsfunktion und Dichtefunktion

Die Verteilungsfunktion einer Zufallsvariablen ${\displaystyle X}$ oder einer Wahrscheinlichkeitsverteilung ${\displaystyle P}$ mit Wahrscheinlichkeitsdichtefunktion ${\displaystyle f_{X}}$ beziehungsweise ${\displaystyle f_{P}}$ wird als Integral über die Dichtefunktion gebildet:

${\displaystyle F_{X}(x)=\int _{-\infty }^{x}f_{X}(t)\,\mathrm {d} t}$

${\displaystyle F_{P}(x)=\int _{-\infty }^{x}f_{P}(t)\,\mathrm {d} t}$

Dies folgt direkt aus der Definition der Verteilungsfunktion. Die Verteilungsfunktionen von Zufallsvariablen oder Wahrscheinlichkeitsverteilungen mit Wahrscheinlichkeitsdichtefunktion sind somit immer stetig.

Wenn die Verteilungsfunktion ${\displaystyle F}$ differenzierbar ist, ist ihre Ableitung eine Dichtefunktion der Verteilung:

${\displaystyle F^{\prime }(x)={\frac {\mathrm {d} F(x)}{\mathrm {d} x}}=f(x)}$

Dieser Zusammenhang gilt auch dann noch, wenn ${\displaystyle F}$ stetig ist und es höchstens abzählbar viele Stellen ${\displaystyle x\in \mathbb {R} }$ gibt, an denen ${\displaystyle F}$ nicht differenzierbar ist; welche Werte man an diesen Stellen für ${\displaystyle f(x)}$ verwendet, ist unerheblich.

Allgemein existiert eine Dichtefunktion genau dann, wenn die Verteilungsfunktion ${\displaystyle F}$ absolut stetig ist. Diese Bedingung impliziert unter anderem, dass ${\displaystyle F}$ stetig ist und fast überall eine Ableitung besitzt, die mit der Dichte übereinstimmt.

Es ist jedoch zu beachten, dass es Verteilungen wie die Cantor-Verteilung gibt, die eine stetige, fast überall differenzierbare Verteilungsfunktion besitzen, aber dennoch keine Wahrscheinlichkeitsdichte. Fast überall differenzierbar sind Verteilungsfunktionen immer, aber die entsprechende Ableitung erfasst generell nur den absolutstetigen Anteil der Verteilung.

Dichten auf Teilintervallen

Die Wahrscheinlichkeitsdichte einer Zufallsvariablen ${\displaystyle X}$, die nur Werte in einem Teilintervall ${\displaystyle I}$ der reellen Zahlen annimmt, kann so gewählt werden, dass sie außerhalb des Intervalls den Wert ${\displaystyle 0}$ hat. Ein Beispiel ist die Exponentialverteilung mit ${\displaystyle I=[0,\infty [}$. Alternativ kann die Wahrscheinlichkeitsdichte als eine Funktion ${\displaystyle f\colon I\to \mathbb {R} }$ betrachtet werden, d. h. als eine Dichte der Verteilung auf ${\displaystyle I}$ bezüglich des Lebesgue-Maßes auf ${\displaystyle I}$.

Nichtlineare Transformation

Auch im Falle einer nichtlinearen Transformation ${\displaystyle Y=g(X)}$ gilt für den Erwartungswert ${\displaystyle E(Y)}$ der Zufallsgröße ${\displaystyle Y}$

${\displaystyle \operatorname {E} (Y)=\operatorname {E} (g(X))=\int _{-\infty }^{\infty }g(x)f(x)\,\mathrm {d} x}$.

Eine Berechnung der Wahrscheinlichkeitsdichtefunktion von ${\displaystyle Y}$ selbst ist also gar nicht nötig.

Faltung und Summe von Zufallsvariablen

Für Wahrscheinlichkeitsverteilungen mit Wahrscheinlichkeitsdichtefunktionen kann die Faltung (von Wahrscheinlichkeitsverteilungen) auf die Faltung (von Funktionen) der entsprechenden Wahrscheinlichkeitsdichtefunktionen zurückgeführt werden. Sind ${\displaystyle P,Q}$ Wahrscheinlichkeitsverteilungen mit Wahrscheinlichkeitsdichtefunktionen ${\displaystyle f_{P}}$ und ${\displaystyle f_{Q}}$, so ist

${\displaystyle f_{P*Q}=f_{P}*f_{Q}}$.

Hierbei bezeichnet ${\displaystyle P*Q}$ die Faltung von ${\displaystyle P}$ und ${\displaystyle Q}$ und ${\displaystyle f*g}$ die Faltung der Funktionen ${\displaystyle f}$ und ${\displaystyle g}$. Die Wahrscheinlichkeitsdichtefunktion der Faltung zweier Wahrscheinlichkeitsverteilungen ist somit genau die Faltung der Wahrscheinlichkeitsdichtefunktionen der Wahrscheinlichkeitsverteilungen.

Diese Eigenschaft überträgt sich direkt auf die Summe von stochastisch unabhängigen Zufallsvariablen. Sind zwei stochastisch unabhängige Zufallsvariablen ${\displaystyle X,Y}$ mit Wahrscheinlichkeitsdichtefunktionen ${\displaystyle f_{X}}$ und ${\displaystyle f_{Y}}$ gegeben, so ist

${\displaystyle f_{X+Y}=f_{X}*f_{Y}}$.

Die Wahrscheinlichkeitsdichtefunktion der Summe ist somit die Faltung der Wahrscheinlichkeitsdichtefunktionen der einzelnen Zufallsvariablen.

Modus

Der Modus einer Wahrscheinlichkeitsverteilung bzw. Zufallsvariablen wird direkt über die Wahrscheinlichkeitsdichtefunktion definiert. Ein ${\displaystyle x_{\text{mod}}\in \mathbb {R} }$ heißt ein Modus, wenn die Wahrscheinlichkeitsdichtefunktion ${\displaystyle f}$ an der Stelle ${\displaystyle x_{\text{mod}}}$ ein lokales Maximum besitzt. Das bedeutet, es ist

${\displaystyle f(x)\leq f(x_{\text{mod}})}$ für alle ${\displaystyle x\in (x_{\text{mod}}-\varepsilon ;x_{\text{mod}}+\varepsilon )}$

für ein ${\displaystyle \varepsilon >0}$.

Selbstverständlich kann eine Wahrscheinlichkeitsdichtefunktion auch zwei oder mehrere lokale Maxima besitzen (bimodale Verteilungen und multimodale Verteilungen). Im Falle der Gleichverteilung im obigen Beispielabschnitt besitzt die Wahrscheinlichkeitsdichtefunktion sogar unendlich viele lokale Maxima.

Median

Der Median wird gewöhnlicherweise über die Verteilungsfunktion oder spezieller über die Quantilfunktion definiert. Existiert eine Wahrscheinlichkeitsdichtefunktion, so ist ein Median gegeben durch dasjenige ${\displaystyle x_{\text{med}}}$, für das

${\displaystyle \int _{-\infty }^{x_{\text{med}}}f(x)\,\mathrm {d} x={\frac {1}{2}}}$

und

${\displaystyle \int _{x_{\text{med}}}^{+\infty }f(x)\,\mathrm {d} x={\frac {1}{2}}}$

gilt. Aufgrund der Stetigkeit der zugehörigen Verteilungsfunktion existiert in diesem Fall ${\displaystyle x_{\text{med}}}$ immer, ist aber im Allgemeinen nicht eindeutig.

Erwartungswert

Der Erwartungswert einer Zufallsvariable ${\displaystyle X}$ mit Wahrscheinlichkeitsdichtefunktion ${\displaystyle f_{X}}$ ist gegeben durch

${\displaystyle \operatorname {E} (X)=\int _{-\infty }^{+\infty }xf_{X}(x)\,\mathrm {d} x}$,

falls das Integral existiert.

Varianz und Standardabweichung

Ist eine Zufallsvariable ${\displaystyle X}$ mit Wahrscheinlichkeitsdichtefunktion ${\displaystyle f_{X}}$ gegeben, und bezeichnet

${\displaystyle \mu =\operatorname {E} (X)}$

den Erwartungswert der Zufallsvariablen, so ist die Varianz der Zufallsvariablen gegeben durch

${\displaystyle \operatorname {Var} (X)=\operatorname {E} \left((X-\mu )^{2}\right)=\int _{-\infty }^{+\infty }(x-\mu )^{2}f_{X}(x)\,\mathrm {d} x}$.

Alternativ gilt auch nach dem Verschiebungssatz

${\displaystyle \operatorname {Var} (X)=\operatorname {E} (X^{2})-(\operatorname {E} (X))^{2}=\int _{-\infty }^{\infty }x^{2}f_{X}(x)\,\mathrm {d} x-\mu ^{2}}$.

Auch hier gelten die Aussagen wieder nur, wenn alle vorkommenden Integrale existieren. Die Standardabweichung lässt sich dann direkt als die Wurzel aus der Varianz berechnen.

Höhere Momente, Schiefe und Wölbung

Mittels der oben angegebenen Vorschrift für nichtlineare Transformationen lassen sich auch höhere Momente direkt berechnen. So gilt für das k-te Moment einer Zufallsvariablen mit Wahrscheinlichkeitsdichtefunktion ${\displaystyle f_{X}}$

${\displaystyle m_{k}=\int _{-\infty }^{+\infty }x^{k}f_{X}(x)\,\mathrm {d} x}$

und für das k-te absolute Moment

${\displaystyle M_{k}=\int _{-\infty }^{+\infty }|x|^{k}f_{X}(x)\,\mathrm {d} x}$.

Bezeichnet ${\displaystyle \mu }$ den Erwartungswert von ${\displaystyle X}$, so ergibt sich für die zentralen Momente

${\displaystyle \mu _{k}=\int _{-\infty }^{+\infty }(x-\mu )^{k}f_{X}(x)\,\mathrm {d} x}$

und die absoluten zentralen Momente

${\displaystyle {\overline {\mu }}_{k}=\int _{-\infty }^{+\infty }|x-\mu |^{k}f_{X}(x)\,\mathrm {d} x}$.

Über die zentralen Momente können die Schiefe und die Wölbung der Verteilung direkt bestimmt werden, siehe die entsprechenden Hauptartikel.

Beispiel

Gegeben sei wieder die Wahrscheinlichkeitsdichtefunktion der Exponentialverteilung zum Parameter ${\displaystyle \lambda >0}$, also

${\displaystyle f_{\lambda }(x)={\begin{cases}\displaystyle \lambda \mathrm {e} ^{-\lambda x}&x\geq 0,\\0&x<0.\end{cases}}}$

Ein Modus der Exponentialverteilung ist immer ${\displaystyle x_{\text{mod}}=0}$. Denn auf dem Intervall ${\displaystyle (-\infty ,0)}$ ist die Wahrscheinlichkeitsdichtefunktion konstant gleich null, und auf dem Intervall ${\displaystyle [0,+\infty )}$ ist sie streng monoton fallend, somit ist an der Stelle 0 ein lokales Maximum. Aus der Monotonie folgt dann auch direkt, dass es sich um das einzige lokale Maximum handelt, der Modus ist also eindeutig bestimmt.

Zur Bestimmung des Medians bildet man (da die Wahrscheinlichkeitsdichtefunktion links der Null verschwindet)

${\displaystyle \int _{0}^{c}\lambda \mathrm {e} ^{-\lambda x}\,\mathrm {d} x=\left[-\mathrm {e} ^{-\lambda x}\right]_{0}^{c}=-\mathrm {e} ^{-\lambda c}+1\;{\stackrel {!}{=}}\;{\frac {1}{2}}}$.

Durch kurze Rechnung erhält man

${\displaystyle c={\frac {\ln 2}{\lambda }}}$.

Dieses ${\displaystyle c}$ erfüllt auch die zweite der beiden Gleichungen im obigen Abschnitt Median und ist somit ein Median.

Für den Erwartungswert erhält man unter Zuhilfenahme der partiellen Integration

${\displaystyle \operatorname {E} (X)=\int _{0}^{+\infty }x\lambda \mathrm {e} ^{-\lambda x}\,\mathrm {d} x=\left[-xe^{-\lambda x}\right]_{0}^{+\infty }-\int _{0}^{+\infty }-e^{-\lambda x}\,\mathrm {d} x=\left[{\tfrac {1}{-\lambda }}e^{-\lambda x}\right]_{0}^{+\infty }={\frac {1}{\lambda }}}$.

Analog lässt sich durch zweimaliges Anwenden der partiellen Integration die Varianz bestimmen.

Grenzübergang

Es sei ${\displaystyle X_{a}}$ eine approximierende Zufallsvariable mit den Ausprägungen ${\displaystyle x_{i}}$ und den Wahrscheinlichkeiten ${\displaystyle p_{i}}$. Der Grenzübergang von einer approximierenden diskreten Zufallsvariable ${\displaystyle X_{a}}$ zu einer stetigen Zufallsvariable ${\displaystyle X}$ kann durch ein Wahrscheinlichkeitshistogramm modelliert werden. Dazu unterteilt man den Wertebereich der Zufallsvariable ${\displaystyle X}$ in gleich große Intervalle ${\displaystyle [c_{i-1},c_{i}]}$. Diese Intervalle mit der Länge ${\displaystyle \Delta x_{i}}$ und den entsprechenden Klassenmitten ${\displaystyle x_{i}}$ dienen der Approximation der Dichtefunktion durch das Wahrscheinlichkeitshistogramm, das aus Rechtecken mit der Fläche ${\displaystyle p_{i}=f(x_{i})\Delta x_{i}}$ besteht, die sich über den Klassenmitten befinden. Für kleine ${\displaystyle \Delta x_{i}}$ kann ${\displaystyle X_{a}}$ als Approximation der stetigen Zufallsvariable ${\displaystyle X}$ aufgefasst werden. Wenn man die Intervalllängen verkleinert, verbessert sich die Approximation von ${\displaystyle X}$ durch ${\displaystyle X_{a}}$. Der Grenzübergang ${\displaystyle \Delta x_{i}\rightarrow 0}$ für alle Intervalle führt im Falle der Varianz zu

${\displaystyle \sum _{i}(x_{i}-\mu )^{2}f(x_{i})\Delta x_{i}\longrightarrow \int _{\mathbb {R} }(x-\mu )^{2}f(x)\,\mathrm {d} x\quad }$

und im Falle des Erwartungswertes zu

${\displaystyle \sum _{i}x_{i}f(x_{i})\Delta x_{i}\longrightarrow \int _{\mathbb {R} }xf(x)\,\mathrm {d} x}$.

Aus dieser Approximation ergibt sich die Definition der Varianz bei stetigen Zufallsvariablen.