Definitionen

Konzeptionell wird als Grundlage der mathematischen Betrachtung von einem Zufallsvorgang oder Zufallsexperiment ausgegangen. Alle möglichen Ergebnisse dieses Zufallsvorgangs fasst man in der Ergebnismenge ${\displaystyle \Omega }$ zusammen. Häufig interessiert man sich jedoch gar nicht für das genaue Ergebnis ${\displaystyle \omega \in \Omega }$, sondern nur dafür, ob es in einer bestimmten Teilmenge der Ergebnismenge liegt, was so interpretiert werden kann, dass ein Ereignis eingetreten ist oder nicht. Ein Ereignis ist also als eine Teilmenge von ${\displaystyle \Omega }$ definiert. Enthält das Ereignis genau ein Element der Ergebnismenge, handelt es sich um ein Elementarereignis. Zusammengesetzte Ereignisse enthalten mehrere Ergebnisse. Das Ergebnis ist also ein Element der Ergebnismenge, das Ereignis jedoch eine Teilmenge.

Damit man den Ereignissen in sinnvoller Weise Wahrscheinlichkeiten zuordnen kann, werden sie in einem Mengensystem aufgeführt, der Ereignisalgebra oder dem Ereignissystem ${\displaystyle \Sigma }$ über ${\displaystyle \Omega }$, einer Menge von Teilmengen von ${\displaystyle \Omega }$, für die gilt: Sie enthält ${\displaystyle \Omega }$ und ist ein σ-Körper, d. h., sie ist gegenüber den Mengenoperationen der Vereinigung und der Komplementbildung (relativ bzgl. ${\displaystyle \Omega }$) abgeschlossen genauso wie gegenüber der unendlichen Vereinigung abzählbar vieler Mengen. Die Wahrscheinlichkeiten sind dann Bilder einer gewissen Abbildung ${\displaystyle P}$ des Ereignisraums in das Intervall [0,1]. Solch eine Abbildung heißt Wahrscheinlichkeitsmaß. Das Tripel ${\displaystyle (\Omega ,\Sigma ,P)}$ wird als Wahrscheinlichkeitsraum bezeichnet.

Axiome von Kolmogorow

Die axiomatische Begründung der Wahrscheinlichkeitstheorie wurde in den 1930er Jahren von Andrei Kolmogorow entwickelt. Ein Wahrscheinlichkeitsmaß muss demnach folgende drei Axiome erfüllen:

Beispiel: Im Rahmen einer physikalischen Modellbildung wird ein Wahrscheinlichkeitsmaß zur Beschreibung des Ergebnisses eines Münzwurfes angesetzt, die möglichen Ergebnisse (Ereignisse genannt) mögen Zahl und Kopf lauten.

• Dann ist die Ergebnismenge ${\displaystyle \Omega =\{{\text{Zahl}},{\text{Kopf}}\}}$.
• Als Ereignisraum kann die Potenzmenge ${\displaystyle {\mathcal {P}}(\Omega )\;}$ gewählt werden, also ${\displaystyle \Sigma =\{\emptyset ,\{{\text{Zahl}}\},\{{\text{Kopf}}\},\Omega \}}$.
• Für das Wahrscheinlichkeitsmaß ${\displaystyle P}$ steht aufgrund der Axiome fest:
  • ${\displaystyle P(\emptyset )=0}$
  • ${\displaystyle P(\{{\text{Zahl}}\})=1-P(\{{\text{Kopf}}\})}$
  • ${\displaystyle P(\Omega )=1}$

Zusätzliche physikalische Annahmen über die Beschaffenheit der Münze können nun etwa zur Wahl ${\displaystyle P(\{{\text{Kopf}}\})=P(\{{\text{Zahl}}\})=0{,}5}$ führen.

Folgerungen

Aus den Axiomen ergeben sich unmittelbar einige Folgerungen:

1. Aus der Additivität der Wahrscheinlichkeit disjunkter Ereignisse folgt, dass komplementäre Ereignisse (Gegenereignisse) komplementäre Wahrscheinlichkeiten (Gegenwahrscheinlichkeiten) haben: ${\displaystyle P(\Omega \setminus A)=1-P(A)}$.

Beweis: Es ist ${\displaystyle (\Omega \setminus A)\cup A=\Omega }$ sowie ${\displaystyle (\Omega \setminus A)\cap A=\emptyset }$. Folglich nach Axiom (3): ${\displaystyle P(\Omega \setminus A)+P(A)=P(\Omega )}$ und dann nach Axiom (2): ${\displaystyle P(\Omega \setminus A)+P(A)=1}$. Umgestellt ergibt sich: ${\displaystyle P(\Omega \setminus A)=1-P(A)}$.

2. Daraus folgt, dass das unmögliche Ereignis, die leere Menge, die Wahrscheinlichkeit Null hat: ${\displaystyle P(\emptyset )=0}$.

Beweis: Es ist ${\displaystyle \emptyset \cup \Omega =\Omega }$ und ${\displaystyle \emptyset \cap \Omega =\emptyset }$, also nach Axiom (3): ${\displaystyle P(\emptyset )+P(\Omega )=P(\Omega )}$. Hieraus folgt ${\displaystyle P(\emptyset )=0}$.

3. Für die Vereinigung nicht notwendig disjunkter Ereignisse folgt: ${\displaystyle P(A\cup B)=P(A)+P(B)-P(A\cap B)}$.

Beweis: Die für den Beweis erforderlichen Mengen sind im obigen Bild dargestellt. Die Menge ${\displaystyle A\cup B}$ kann danach als Vereinigung von drei disjunkten Mengen dargestellt werden:

Hieraus folgt nach (3): ${\displaystyle P(A\cup B)=P(A\setminus B)+P(A\cap B)+P(B\setminus A)}$.

Andererseits ist nach (3) sowohl

${\displaystyle P(A)=P(A\setminus B)+P(A\cap B)}$ als auch

${\displaystyle P(B)=P(A\cap B)+P(B\setminus A)}$.

Addition liefert:

${\displaystyle P(A)+P(B)=P(A\setminus B)+P(A\cap B)+P(A\cap B)+P(B\setminus A)=P(A\cup B)+P(A\cap B)}$.

Umstellen ergibt ${\displaystyle P(A\cup B)=P(A)+P(B)-P(A\cap B)}$.

Die Siebformel von Poincaré-Sylvester verallgemeinert diese Behauptung im Falle n verschiedener (nicht notwendig disjunkter) Teilmengen.

Im Weiteren ist zwischen abzählbaren und überabzählbaren Ergebnismengen zu unterscheiden.

Laplace-Experimente

Wenn man annimmt, dass nur endlich viele Elementarereignisse möglich und alle gleichberechtigt sind, d. h. mit der gleichen Wahrscheinlichkeit eintreten (wie zum Beispiel beim Werfen einer idealen Münze, wobei {Zahl} und {Kopf} jeweils die Wahrscheinlichkeit 0,5 besitzen), so spricht man von einem Laplace-Experiment. Dann lassen sich Wahrscheinlichkeiten einfach berechnen: Wir nehmen eine endliche Ergebnismenge ${\displaystyle \Omega }$ an, die die Mächtigkeit ${\displaystyle |\Omega |=n}$ besitzt, d. h., sie hat ${\displaystyle n}$ Elemente. Dann ist die Wahrscheinlichkeit jedes Elementarereignisses einfach ${\displaystyle P={\tfrac {1}{n}}}$.

Beweis: Wenn ${\displaystyle |\Omega |=n}$ ist, dann gibt es ${\displaystyle n}$ Elementarereignisse ${\displaystyle E_{1},\ldots ,E_{n}}$. Es ist dann einerseits ${\displaystyle \Omega =E_{1}\cup \cdots \cup E_{n}}$ und andererseits sind je zwei Elementarereignisse disjunkt (inkompatibel: wenn das eine eintritt, kann das andere nicht eintreten). Also sind die Voraussetzungen für Axiom (3) erfüllt, und es gilt:

${\displaystyle P(E_{1})+\cdots +P(E_{n})=P(\Omega )=1.}$

Da nun andererseits ${\displaystyle P(E_{1})=\cdots =P(E_{n})=P}$ sein soll, ist ${\displaystyle n\cdot P=1}$ und daher umgestellt: ${\displaystyle P={\tfrac {1}{n}}}$, wie behauptet.

Als Konsequenz folgt, dass für Ereignisse, die sich aus mehreren Elementarereignissen zusammensetzen, die entsprechend vielfache Wahrscheinlichkeit gilt. Ist ${\displaystyle A}$ ein Ereignis der Mächtigkeit ${\displaystyle |A|=m}$, so ist ${\displaystyle A}$ die Vereinigung von ${\displaystyle m}$ Elementarereignissen. Jedes davon hat die Wahrscheinlichkeit ${\displaystyle P={\tfrac {1}{n}}}$, also ist ${\displaystyle P(A)=m\cdot {\tfrac {1}{n}}={\tfrac {m}{n}}}$. Man erhält also den einfachen Zusammenhang

${\displaystyle P(A)={\frac {|A|}{|\Omega |}}.}$

Bei Laplace-Versuchen ist die Wahrscheinlichkeit eines Ereignisses gleich der Zahl der für dieses Ereignis günstigen Ergebnisse, dividiert durch die Zahl der insgesamt möglichen Ergebnisse.

Nachstehend ein Beispiel beim Würfeln mit einem idealen Würfel.

${\displaystyle \Omega =\{}$⚀⚁⚂⚃⚄⚅${\displaystyle \}}$

${\displaystyle H=\{}$⚄⚅${\displaystyle \}}$

${\displaystyle P(H)={\frac {|H|}{|\Omega |}}={\frac {2}{6}}={\frac {1}{3}}}$

Das Ereignis ${\displaystyle H}$ = Hohe Augenzahl (5 oder 6) hat die Wahrscheinlichkeit 1/3.

Ein typischer Laplace-Versuch ist auch das Ziehen einer Karte aus einem Spiel mit ${\displaystyle n}$ Karten oder das Ziehen einer Kugel aus einer Urne mit ${\displaystyle n}$ Kugeln. Hier hat jedes Elementarereignis die gleiche Wahrscheinlichkeit. Um die Anzahl der Elementarereignisse bei Laplace-Versuchen zu bestimmen, werden häufig Methoden der Kombinatorik verwendet.

Das Konzept der Laplace-Experimente lässt sich auf den Fall einer stetigen Gleichverteilung verallgemeinern.

Bedingte Wahrscheinlichkeit

Unter einer bedingten Wahrscheinlichkeit versteht man die Wahrscheinlichkeit für das Eintreten eines Ereignisses ${\displaystyle A}$ unter der Voraussetzung, dass das Eintreten eines anderen Ereignisses ${\displaystyle B}$ bereits bekannt ist. Natürlich muss ${\displaystyle B}$ eintreten können, es darf also nicht das unmögliche Ereignis sein. Man schreibt dann ${\displaystyle P(A|B)}$ oder seltener ${\displaystyle P_{B}(A)}$ für „Wahrscheinlichkeit von ${\displaystyle A}$ unter der Voraussetzung ${\displaystyle B}$“, kurz „${\displaystyle P}$ von ${\displaystyle A}$, vorausgesetzt ${\displaystyle B}$“.

Beispiel: Die Wahrscheinlichkeit, aus einem Skatblatt eine Herz-Karte zu ziehen (Ereignis ${\displaystyle A}$), beträgt 1/4, denn es gibt 32 Karten und darunter 8 Herz-Karten. Dann ist ${\displaystyle P({\text{Herz}})={\tfrac {8}{32}}={\tfrac {1}{4}}}$. Das Gegenereignis ist dann Karo, Pik oder Kreuz und hat deshalb die Wahrscheinlichkeit ${\displaystyle {\tfrac {24}{32}}={\tfrac {3}{4}}}$.

Wenn nun aber bereits das Ereignis ${\displaystyle B}$ „Die Karte ist rot“ eingetreten ist (es wurde eine Herz- oder Karo-Karte gezogen, es ist aber nicht bekannt, welche der beiden Farben), man also nur noch die Auswahl unter den 16 roten Karten hat, dann ist ${\displaystyle P(A|B)={\tfrac {8}{16}}={\tfrac {1}{2}}}$ die Wahrscheinlichkeit, dass es sich dann um das Herz-Blatt handelt.

Diese Überlegung galt für einen Laplaceversuch. Für den allgemeinen Fall definiert man die bedingte Wahrscheinlichkeit von „${\displaystyle A}$, vorausgesetzt ${\displaystyle B}$“ als

${\displaystyle P(A\vert B)={\frac {P(A\cap B)}{P(B)}}.}$

Dass diese Definition sinnvoll ist, zeigt sich daran, dass die so definierte Wahrscheinlichkeit den Axiomen von Kolmogorow genügt, wenn man sich auf ${\displaystyle B}$ als neue Ergebnismenge beschränkt; d. h., dass gilt:

1. ${\displaystyle 0\leq P(A\vert B)\leq 1}$
2. ${\displaystyle P(B\vert B)=1}$
3. Wenn ${\displaystyle A_{1},\ldots ,A_{k}}$ paarweise disjunkt sind, so ist ${\displaystyle P(A_{1}\cup \cdots \cup A_{k}\vert B)=P(A_{1}\vert B)+\cdots +P(A_{k}\vert B)}$

Beweis:

1. ${\displaystyle P(A\vert B)}$ ist Quotient zweier Wahrscheinlichkeiten, für welche nach Axiom (1) gilt ${\displaystyle P(A\cap B)\geq 0}$ und ${\displaystyle P(B)\geq 0}$. Da ${\displaystyle B}$ nicht das unmögliche Ereignis sein soll, ist sogar ${\displaystyle P(B)>0}$. Also gilt auch für den Quotienten ${\displaystyle P(A\vert B)\geq 0}$. Ferner sind ${\displaystyle A\cap B}$ und ${\displaystyle B\setminus A}$ disjunkt, und ihre Vereinigung ist ${\displaystyle B}$. Also ist nach Axiom (3): ${\displaystyle P(A\cap B)=P(B)-P(B\setminus A)}$.
   Da ${\displaystyle P(B\setminus A)\geq 0}$ ist, folgt ${\displaystyle P(A\cap B)\leq P(B)}$ und daher ${\displaystyle P(A\vert B)\leq 1}$.
2. Es ist ${\displaystyle P(B\vert B)={\frac {P(B\cap B)}{P(B)}}={\frac {P(B)}{P(B)}}=1.}$
3. Des Weiteren ergibt sich:

${\displaystyle {\begin{aligned}P(A_{1}\cup \cdots \cup A_{k}\vert B)&={\frac {P((A_{1}\cup \cdots \cup A_{k})\cap B)}{P(B)}}\\&={\frac {P((A_{1}\cap B)\cup \cdots \cup (A_{k}\cap B))}{P(B)}}\\&={\frac {P(A_{1}\cap B)+\cdots +P(A_{k}\cap B)}{P(B)}}\\&={\frac {P(A_{1}\cap B)}{P(B)}}+\cdots +{\frac {P(A_{k}\cap B)}{P(B)}}\\\\&=P(A_{1}\vert B)+\cdots +P(A_{k}\vert B).\end{aligned}}}$

Dies war zu zeigen.

Beispiel: Es sei wie oben ${\displaystyle A}$ das Ereignis „Ziehen einer Herz-Karte“ und ${\displaystyle B}$ das Ereignis „Es ist eine rote Karte“. Dann ist:

${\displaystyle P(A\cap B)={\frac {8}{32}}={\frac {1}{4}}}$

und

${\displaystyle P(B)={\frac {16}{32}}={\frac {1}{2}}.}$

Folglich gilt:

${\displaystyle P(A\vert B)={\frac {P(A\cap B)}{P(B)}}={\frac {\frac {1}{4}}{\frac {1}{2}}}={\frac {1}{2}}.}$

Aus der Definition der bedingten Wahrscheinlichkeit ergeben sich folgende Konsequenzen:

Abhängigkeit und Unabhängigkeit von Ereignissen

Ereignisse nennt man unabhängig voneinander, wenn das Eintreten des einen die Wahrscheinlichkeit des anderen nicht beeinflusst. Im umgekehrten Fall nennt man sie abhängig. Man definiert:

Zwei Ereignisse ${\displaystyle A}$ und ${\displaystyle B}$ sind unabhängig, wenn ${\displaystyle P(A\cap B)=P(A)\cdot P(B)}$ gilt.

Ungenau, aber einprägsam formuliert: Bei unabhängigen Ereignissen kann man die Wahrscheinlichkeiten multiplizieren.

Dass dies dem Begriff „Unabhängigkeit“ gerecht wird, erkennt man durch Umstellen nach ${\displaystyle P(A)}$:

${\displaystyle P(A)={\frac {P(A\cap B)}{P(B)}}=P(A\vert B).}$

Das bedeutet: Die totale Wahrscheinlichkeit für ${\displaystyle A}$ ist ebenso groß wie die Wahrscheinlichkeit für ${\displaystyle A}$, vorausgesetzt ${\displaystyle B}$; das Eintreten von ${\displaystyle B}$ beeinflusst also die Wahrscheinlichkeit von ${\displaystyle A}$ nicht.

Beispiel: Es wird eine aus 32 Karten gezogen. ${\displaystyle A}$ sei das Ereignis „Es ist eine Herz-Karte“. ${\displaystyle B}$ sei das Ereignis „Es ist eine Bild-Karte“. Diese Ereignisse sind unabhängig, denn das Wissen, dass man eine Bild-Karte zieht, beeinflusst nicht die Wahrscheinlichkeit, dass es eine Herz-Karte ist (Der Anteil der Herz-Karten unter den Bilder-Karten ist ebenso groß wie der Anteil der Herz-Karten an allen Karten). Offenbar ist ${\displaystyle P(A)={\tfrac {8}{32}}={\tfrac {1}{4}}}$ und ${\displaystyle P(B)={\tfrac {12}{32}}={\tfrac {3}{8}}}$. ${\displaystyle A\cap B}$ ist das Ereignis „Es ist eine Herz-Bildkarte“. Da es davon drei gibt, ist ${\displaystyle P(A\cap B)={\tfrac {3}{32}}}$. Und in der Tat stellt man fest, dass ${\displaystyle {\tfrac {1}{4}}\cdot {\tfrac {3}{8}}={\tfrac {3}{32}}}$ ist.

Ein weiteres Beispiel für sehr kleine und sehr große Wahrscheinlichkeiten findet sich in Infinite-Monkey-Theorem.

Wahrscheinlichkeitsräume

In dieser Sichtweise ist ein Wahrscheinlichkeitsraum ${\displaystyle (\Omega ,\Sigma ,P)}$ ein Maßraum mit einem Wahrscheinlichkeitsmaß ${\displaystyle P}$. Das bedeutet, die Ergebnismenge ${\displaystyle \Omega }$ ist eine beliebige Menge, der Ereignisraum ${\displaystyle \Sigma }$ ist eine σ-Algebra mit Grundmenge ${\displaystyle \Omega }$ und ${\displaystyle P\colon \Sigma \to [0,1]}$ ist ein Maß, das durch ${\displaystyle P(\Omega )=1}$ normiert ist.

Wichtige Standardfälle von Wahrscheinlichkeitsräumen sind:

• ${\displaystyle \Omega }$ ist eine abzählbare Menge und ${\displaystyle \Sigma }$ ist die Potenzmenge von ${\displaystyle \Omega }$. Dann ist jedes Wahrscheinlichkeitsmaß ${\displaystyle P}$ eindeutig festgelegt durch seine Werte ${\displaystyle P(\{\omega \})}$ auf den einelementigen Teilmengen von ${\displaystyle \Omega }$ und für alle ${\displaystyle A\in \Sigma }$ gilt

${\displaystyle P(A)=\sum _{\omega \in A}P(\{\omega \})}$.

• ${\displaystyle \Omega }$ ist eine Teilmenge von ${\displaystyle \mathbb {R} ^{n}}$ und ${\displaystyle \Sigma }$ ist die Borelsche σ-Algebra auf ${\displaystyle \Omega }$. Ist das Wahrscheinlichkeitsmaß ${\displaystyle P}$ absolut stetig bezüglich des Lebesgue-Maßes, dann besitzt ${\displaystyle P}$ nach dem Satz von Radon-Nikodým eine Lebesgue-Dichte ${\displaystyle f}$, d. h., für alle ${\displaystyle A\in \Sigma }$ gilt

${\displaystyle P(A)=\int _{A}f(x)\,\mathrm {d} x}$.

Umgekehrt wird für eine nichtnegative messbare Funktion ${\displaystyle f}$, welche die Normierungsbedingung ${\displaystyle \textstyle \int _{\Omega }f(x)\,dx=1}$ erfüllt, durch diese Formel ein Wahrscheinlichkeitsmaß auf ${\displaystyle \Omega }$ definiert.

• ${\displaystyle \textstyle \Omega =\prod _{i\in I}\Omega _{i}}$ ist ein kartesisches Produkt und ${\displaystyle \textstyle \Sigma =\bigotimes _{i\in I}\Sigma _{i}}$ ist die Produkt-σ-Algebra von σ-Algebren ${\displaystyle \Sigma _{i}}$ auf ${\displaystyle \Omega _{i}}$. Sind Wahrscheinlichkeitsmaße ${\displaystyle P_{i}}$ auf ${\displaystyle \Omega _{i}}$ gegeben, dann wird durch das Produktmaß ${\displaystyle \textstyle P=\bigotimes _{i\in I}P_{i}}$ ein Wahrscheinlichkeitsmaß auf ${\displaystyle \Omega }$ definiert, das die unabhängige Hintereinanderausführung der Einzelexperimente ${\displaystyle (\Omega _{i},\Sigma _{i},P_{i})_{i\in I}}$ modelliert.

Zufallsvariable

Eine Zufallsvariable ist das mathematische Konzept für eine Größe, deren Wert vom Zufall abhängig ist. Aus maßtheoretischer Sicht handelt es sich um eine messbare Funktion ${\displaystyle X}$ auf einem Wahrscheinlichkeitsraum ${\displaystyle (\Omega ,\Sigma ,P)}$ in einen Messraum ${\displaystyle (\Omega ',\Sigma ')}$ bestehend aus einer Menge ${\displaystyle \Omega '}$ und einer σ-Algebra ${\displaystyle \Sigma '}$ auf ${\displaystyle \Omega '}$. Messbarkeit bedeutet dabei, dass für alle ${\displaystyle A'\in \Sigma '}$ das Urbild ${\displaystyle X^{-1}(A')}$ ein Element der σ-Algebra ${\displaystyle \Sigma }$ ist. Die Verteilung von ${\displaystyle X}$ ist dann nichts anderes als das Bildmaß

${\displaystyle P_{X}:=P\circ X^{-1}:\Sigma '\to [0,1],\quad P\circ X^{-1}(A')=P(X^{-1}(A'))}$,

das von ${\displaystyle X}$ auf dem Messraum ${\displaystyle (\Omega ',\Sigma ')}$ induziert wird und diesen zu einem Wahrscheinlichkeitsraum ${\displaystyle (\Omega ',\Sigma ',P_{X})}$ macht.

Der Erwartungswert einer reellwertigen Zufallsvariable ${\displaystyle X}$ mittelt die möglichen Ergebnisse. Er lässt sich abstrakt definieren als Integral von ${\displaystyle X}$ bezüglich des Wahrscheinlichkeitsmaßes ${\displaystyle P}$:

${\displaystyle \operatorname {E} (X)=\int _{\Omega }X\,\mathrm {d} P}$.