Allgemeine Definition

Wenn ${\displaystyle x_{1},\ldots ,x_{n}}$ die Beobachtungswerte in der Stichprobe (die Stichprobenwerte) sind, dann ist die empirische Verteilungsfunktion definiert als

${\displaystyle F_{n}(x):={\frac {{\text{Anzahl der Beobachtungswerte in der Stichprobe}}\leq x}{n}}={\frac {1}{n}}\sum _{i=1}^{n}\mathbf {1} _{(\infty ,x]}(x_{i}),\quad x\in \mathbb {R} }$,

wobei ${\displaystyle \mathbf {1} _{A}}$ die Indikatorfunktion einer Menge ${\displaystyle A\subseteq \mathbb {R} }$ bezeichnet, d. h.

${\displaystyle \mathbf {1} _{A}(x)={\begin{cases}1,&{\text{falls }}x\in A\\0,&{\text{falls }}x\notin A\end{cases}},\quad x\in \mathbb {R} }$.

Alternative Darstellungen

• Mit ${\displaystyle x_{1:n}\leq x_{2:n}\leq \dots \leq x_{n:n}}$ seien die aufsteigend geordneten Beobachtungswerte bezeichnet – sie bilden die so genannte geordnete Stichprobe –, dann ist

${\displaystyle F_{n}(x)={\begin{cases}0,&{\text{falls }}x<x_{1:n},\\{\frac {1}{n}}\sum _{j=1}^{i}\mathbf {1} _{(\infty ,x]}(x_{j:n}),&{\text{falls }}x_{i:n}\leq x<x_{i+1:n},i\in \{1,\ldots ,n-1\},\\1,&{\text{falls }}x_{n:n}\leq x.\end{cases}}}$

• Alternativ lässt sich die empirische Verteilungsfunktion mit den beobachteten, voneinander verschiedenen Merkmalswerten ${\displaystyle a_{1}<\ldots <a_{k}}$ und den zugehörigen relativen Häufigkeiten ${\displaystyle h_{1},\dotsc ,h_{k}}$ in der Stichprobe bestimmen:

${\displaystyle F_{n}(x)={\begin{cases}0,&{\text{falls }}x<a_{1},\\\sum _{j=1}^{i}h_{j},&{\text{falls }}a_{i}\leq x<a_{i+1},~i\in \{1,\ldots ,k-1\},\\1,&{\text{falls }}a_{k}\leq x.\end{cases}}}$

Die Funktion ${\displaystyle F_{n}}$ ist damit eine monoton wachsende rechtsstetige Treppenfunktion mit Sprüngen der Höhe ${\displaystyle h_{j}}$ an den Stellen ${\displaystyle a_{j}}$.

• Eine alternative Darstellung, die manchmal auch zur Definition verwendet wird, ergibt sich mit

${\displaystyle F_{n}(x)={\frac {1}{n}}\sum _{i=1}^{n}\mathbf {1} _{(\infty ,x]}(x_{i})={\frac {1}{n}}\sum _{i=1}^{n}\mathbf {1} _{[x_{i},\infty )}(x).}$

Während die erste Summe verdeutlicht, dass die empirische Verteilungsfunktion ${\displaystyle F_{n}}$ an jeder Stelle ${\displaystyle x}$ ein arithmetischer Mittelwert der transformierten Beobachtungen ${\displaystyle \mathbf {1} _{(\infty ,x]}(x_{i})}$ ist, betont die zweite Summendarstellung die funktionale Abhängigkeit von ${\displaystyle x}$ und stellt die Funktion ${\displaystyle F_{n}}$ als arithmetisches Mittel von ${\displaystyle n}$ empirischen Verteilungsfunktionen dar, da ${\displaystyle x\mapsto \mathbf {1} _{[x_{i},\infty )}(x)}$ für ${\displaystyle x\in \mathbb {R} }$ die empirische Verteilungsfunktion eines einzelnen beobachteten Wertes ${\displaystyle x_{i}}$ ist.

• In bestimmten Anwendungsbereichen, z. B. in Physik und Informatik, erfolgt eine symbolische Darstellung und Interpretation von ${\displaystyle F_{n}}$ als Integral. Dazu wird die Dirac-Delta-Distribution ${\displaystyle \delta }$ verwendet, die eine verallgemeinerte Funktion im Sinn der Distributionentheorie ist und die Eigenschaft

${\displaystyle \int _{-\infty }^{\infty }\delta (x)f(x)\mathrm {d} x=f(0)}$

besitzt. Es gilt dann

${\displaystyle F_{n}(x)=\int _{-\infty }^{x}{\frac {1}{n}}\sum _{i=1}^{n}\delta (x_{i}-y)dy={\frac {1}{n}}\sum _{i=1}^{n}\int _{-\infty }^{x}\delta (x_{i}-y)dy={\frac {1}{n}}\sum _{i=1}^{n}\mathbf {1} _{(\infty ,x]}(x_{i}).}$

Definition für klassierte Daten

Manchmal liegen Daten nur klassiert vor, d. h. es sind ${\displaystyle J}$ Klassen mit Klassenuntergrenzen ${\displaystyle x_{j}^{u}}$, Klassenobergrenzen ${\displaystyle x_{j}^{o}}$ und relativen Klassenhäufigkeiten ${\displaystyle h_{j}}$ gegeben, ${\displaystyle j=1,\ldots ,J}$.

Dann wird die Verteilungsfunktion definiert als

${\displaystyle F_{n}(x):={\begin{cases}0,&{\text{falls }}x<x_{1}^{u},\\\sum _{j=1}^{i-1}h_{j}+{\frac {x-x_{i}^{u}}{x_{i}^{o}-x_{i}^{u}}}h_{i},&{\text{falls }}x_{i}^{u}\leq x<x_{i}^{o},~i\in \{1,\ldots ,J\},\\1,&{\text{falls }}x_{J}^{o}\leq x.\end{cases}}}$

An den Klassenober- und -untergrenzen stimmt die Definition mit der Definition für unklassierte Daten überein, in den Bereichen dazwischen jedoch findet nun eine lineare Interpolation statt (siehe auch Summenhäufigkeitspolygon), bei der man unterstellt, dass die Beobachtungen innerhalb der Klassen gleichmäßig verteilt sind. Empirische Verteilungsfunktionen klassierter Daten sind damit (ebenso wie Verteilungsfunktionen stetiger Wahrscheinlichkeitsverteilungen, z. B. der Normalverteilung) zwar stetig, doch nur zwischen den Klassengrenzen differenzierbar, wobei ihr Anstieg der Höhe der jeweiligen Säule des zugrundeliegenden Histogramms entspricht.

Zu beachten ist dabei allerdings, dass die Intervallgrenzen klassierter Daten nach Möglichkeit so gewählt werden, dass die beobachteten Merkmalsausprägungen zwischen und nicht (wie im Fall unklassierter Daten) auf den Intervallgrenzen liegen, wodurch je nach Wahl der Klassengrenzen für ein und denselben Datenbestand ggf. leicht verschiedene Summenhäufigkeitspolygone entstehen können.

Allgemeiner Fall: Unklassierte Daten

Als Beispiel sollen die Pferdetrittdaten von Ladislaus von Bortkewitsch dienen. Im Zeitraum von 1875 bis 1894 starben in 14 Kavallerieregimentern der preußischen Armee insgesamt 196 Soldaten an Pferdetritten:

Jahr	75	76	77	78	79	80	81	82	83	84	85	86	87	88	89	90	91	92	93	94	${\displaystyle \sum }$
Tote	3	5	7	9	10	18	6	14	11	9	5	11	15	6	11	17	12	15	8	4	196

Schreibt man die Tabelle mit den Merkmalsausprägungen und relativen Häufigkeiten auf, dann ergibt sich

${\displaystyle x_{i}}$	3	4	5	6	7	8	9	10	11	12	14	15	17	18
Jahre	1	1	2	2	1	1	2	1	3	1	1	2	1	1
${\displaystyle h_{i}}$	0,05	0,05	0,10	0,10	0,05	0,05	0,10	0,05	0,15	0,05	0,05	0,10	0,05	0,05
${\displaystyle F_{n}(x_{i})}$	0,05	0,10	0,20	0,30	0,35	0,40	0,50	0,55	0,70	0,75	0,80	0,90	0,95	1,00

Die letzte Zeile enthält den Wert der Verteilungsfunktion an der entsprechenden Stelle ${\displaystyle x=x_{i}}$. Beispielsweise an der Stelle ${\displaystyle x=6{,}5}$ ergibt sich ${\displaystyle F_{n}(6{,}5)=0{,}3}$.

Klassierte Daten

Klassiert man die Daten, so erhält man folgende Datentabelle. Die Grafik dazu findet man bei der Definition.

ab ${\displaystyle x_{i}^{u}}$	2	4	6	8	10	12	14	16
bis ${\displaystyle x_{i}^{o}}$	4	6	8	10	12	14	16	18
${\displaystyle h_{i}}$	0,10	0,20	0,10	0,15	0,20	0,05	0,10	0,10
${\displaystyle F_{n}(x_{i}^{o})}$	0,10	0,30	0,40	0,55	0,75	0,80	0,90	1,00

Die letzte Zeile enthält den Wert der Verteilungsfunktion an der entsprechenden Stelle ${\displaystyle x=x_{i}^{o}}$. An der Stelle ${\displaystyle x=6{,}5}$ ergibt sich ${\displaystyle F_{n}(6{,}5)=0{,}3+{\tfrac {6{,}5-6}{8-6}}\cdot 0{,}1=0{,}325}$.

Schätzung

Im inferenztheoretischen Zusammenhang werden die beobachteten Werte ${\displaystyle x_{1},\ldots ,x_{n}}$ als realisierte Werte von stochastisch unabhängigen und identisch verteilten Zufallsvariablen ${\displaystyle X_{1},\ldots ,X_{n}}$ aufgefasst, die jeweils dieselbe unbekannte Verteilungsfunktion ${\displaystyle F}$ haben. Die aus den beobachteten Werten gebildete empirische Verteilungsfunktion ${\displaystyle F_{n}}$ ist dann eine konkrete Schätzung für ${\displaystyle F}$ und die zufälligen empirische Verteilungsfunktion ${\displaystyle {\tilde {F}}_{n}}$ ist ein Schätzer für die Verteilungsfunktion ${\displaystyle F}$.

Endliche und asymptotische Eigenschaften der Verteilung von ${\displaystyle {\tilde {F}}_{n}}$ werden in der Theorie der empirischen Prozesse untersucht. Dabei ist

${\displaystyle G_{n}(x)={\sqrt {n}}({\tilde {F}}_{n}(x)-F(x)),\quad x\in \mathbb {R} }$

das Standardbeispiel eines empirischen Prozesses, dessen asymptotische Verteilung (für ${\displaystyle n\to \infty }$) unter bestimmten Voraussetzungen durch eine Brownsche Brücke charakterisiert werden kann.

Eigenschaften für endlichen Stichprobenumfang

Für stochastisch unabhängige und identisch verteilte Zufallsvariablen ${\displaystyle X_{1},\ldots ,X_{n}}$, die jeweils dieselbe Verteilungsfunktion ${\displaystyle F}$ haben, gelten folgende Aussagen für endlichen fixierten Stichprobenumfang ${\displaystyle n\in \mathbb {N} }$:

• Für jede Stelle ${\displaystyle x\in \mathbb {R} }$ ist ${\displaystyle \mathbf {1} _{(\infty ,x]}(X_{i})}$ eine Bernoulli-verteilte Zufallsvariable mit dem Bernoulli-Parameter ${\displaystyle F(x)}$.
• Für jede Stelle ${\displaystyle x\in \mathbb {R} }$ ist ${\displaystyle n{\tilde {F}}_{n}(x)}$ eine binomialverteilte Zufallsvariable. Es gilt:

${\displaystyle n{\tilde {F}}_{n}(x)\sim \mathrm {Bin} (n,F(x)).}$

• Für jede Stelle ${\displaystyle x\in \mathbb {R} }$ gilt:

${\displaystyle \mathbb {E} [{\tilde {F}}_{n}(x)]=F(x).}$

${\displaystyle {\tilde {F}}_{n}(x)}$ ist also eine erwartungstreue Schätzfunktion für ${\displaystyle F(x)}$.

• Für jede Stelle ${\displaystyle x\in \mathbb {R} }$ gilt:

${\displaystyle \mathrm {Var} [{\tilde {F}}_{n}(x)]={\frac {F(x)(1-F(x))}{n}}.}$

• Für jede Stelle ${\displaystyle x\in \mathbb {R} }$ und die Zufallsvariable

${\displaystyle G_{n}(x):={\sqrt {n}}({\tilde {F}}_{n}(x)-F(x))}$

gilt:

${\displaystyle \mathbb {E} [G_{n}(x)]=0,\quad \mathrm {Var} [G_{n}(x)]=F(x)(1-F(x)).}$

• Die Verteilung der reellwertigen Zufallsvariablen

${\displaystyle D_{n}:=\sup _{x\in \mathbb {R} }|{\tilde {F}}_{n}(x)-F(x)|,}$

welche die (zufällige) maximale Abweichung der zufälligen empirischen Verteilungsfunktion ${\displaystyle {\tilde {F}}_{n}}$ von der Verteilungsfunktion ${\displaystyle F}$ angibt, hängt für eine stetige Verteilungsfunktion ${\displaystyle F}$ nicht von ${\displaystyle F}$ ab. Die Stichprobenfunktion ${\displaystyle D_{n}}$ ist also bezüglich der Klasse aller stetigen Verteilungsfunktionen eine verteilungsfreie Statistik, die Grundlage des Kolmogorow-Smirnow-Anpassungstests ist.

Konvergenzeigenschaften

Für stochastisch unabhängige und identisch verteilte Zufallsvariablen ${\displaystyle X_{1},\ldots ,X_{n}}$, die jeweils dieselbe Verteilungsfunktion ${\displaystyle F}$ haben, gelten folgende Konvergenzaussagen für ${\displaystyle n\to \infty }$:

• Das starke Gesetz der großen Zahlen sichert zu, dass für jeden Wert ${\displaystyle x}$ die Zufallsvariable ${\displaystyle {\tilde {F}}_{n}(x)}$ fast sicher gegen die Verteilungsfunktion ${\displaystyle F}$ an der Stelle ${\displaystyle x}$ konvergiert:

${\displaystyle {\tilde {F}}_{n}(x)\ \xrightarrow {f.s.} \ F(x).}$

Damit ist ${\displaystyle {\tilde {F}}_{n}(x)}$ ein stark konsistenter Schätzer für ${\displaystyle F(x)}$. Die zufällige empirische Verteilungsfunktion ${\displaystyle {\tilde {F}}_{n}}$ konvergiert also punktweise fast sicher gegen die Verteilungsfunktion ${\displaystyle F}$.

• Für alle ${\displaystyle x\in \mathbb {R} }$ gilt:

${\displaystyle {\sqrt {n}}({\tilde {F}}_{n}(x)-F(x))\xrightarrow {d} {\mathcal {N}}\left(0,F(x)\right(1-F(x))).}$

Dabei bezeichnet ${\displaystyle {\xrightarrow {d}}}$ die Konvergenz in Verteilung und ${\displaystyle {\mathcal {N}}(\mu ,\sigma ^{2})}$ bezeichnet eine Normalverteilung mit den beiden Parametern ${\displaystyle \mu }$ und ${\displaystyle \sigma ^{2}}$, die für eine normalverteilte Zufallsvariable deren Erwartungswert und Varianz angeben. Üblich ist auch die Darstellung

${\displaystyle {\sqrt {n}}{\frac {{\tilde {F}}_{n}(x)-F(x)}{\sqrt {F(x)(1-F(x))}}}\xrightarrow {d} {\mathcal {N}}(0,1)}$

mit Konvergenz in Verteilung gegen eine Standardnormalverteilung.

• Ein stärkeres Resultat, der Hauptsatz der mathematischen Statistik oder Satz von Glivenko-Cantelli, sagt aus, dass die fast sichere Konvergenz nicht nur punktweise – für jede Stelle ${\displaystyle x\in \mathbb {R} }$ –, sondern sogar gleichmäßig geschieht:

${\displaystyle D_{n}=\|{\tilde {F}}_{n}-F\|_{\infty }\equiv \sup _{x\in \mathbb {R} }{\big |}{\tilde {F}}_{n}(x)-F(x){\big |}\ \xrightarrow {f.s.} \ 0.}$

Diese Eigenschaft ist die mathematische Begründung dafür, dass es sinnvoll ist, Daten mit einer empirischen Verteilungsfunktion zu beschreiben, und dass Stichprobenziehen mit Zurücklegen insofern grundsätzlich funktioniert, dass die empirische Verteilungsfunktion bei über alle Grenzen wachsendem Stichprobenumfang der empirischen Verteilungsfunktion beliebig nahe kommt.

• Kolmogorow zeigte, dass ${\displaystyle {\sqrt {n}}D_{n}}$ für eine beliebige stetige Verteilungsfunktion ${\displaystyle F}$ gegen die Kolmogorow-Verteilung konvergiert.
• Die Dvoretzky–Kiefer–Wolfowitz Ungleichung besagt

${\displaystyle P\left(D_{n}>\varepsilon \right)\leq Ce^{-2n\varepsilon ^{2}}\qquad {\text{für alle }}\varepsilon >0}$

mit einer unspezifierten Konstante ${\displaystyle C>0}$ und macht eine Aussage darüber, mit welcher Geschwindigkeit die Konvergenz von ${\displaystyle D_{n}}$ gegen Null stattfindet. Diese Konstante wurde später durch Massard als bestmögliche Konstante ${\displaystyle C=2}$ näher spezifiziert.

Anmerkung zur Notation

• In theoretischen Arbeiten wird häufig die zufällige empirische Verteilungsfunktion mit ${\displaystyle F_{n}}$ bezeichnet.
• In eher wahrscheinlichkeitstheoretisch als statistisch orientierten Darstellungen wird die Bernoulli-verteilte Zufallsvariable ${\displaystyle \mathbf {1} _{(\infty ,x]}(X_{i})}$ in der Form ${\displaystyle \mathbf {1} _{\{X_{i}\leq x\}}}$ notiert, wobei ${\displaystyle \{X_{i}\leq x\}}$ eine abkürzende Notation für das Ereignis ${\displaystyle \{\omega \mid X_{i}(\omega )\leq x\}\subseteq \Omega }$ ist und ${\displaystyle X_{i}}$ als Funktion auf einem abstrakten Wahrscheinlichkeitsraum ${\displaystyle (\Omega ,{\mathcal {F}},P)}$ aufgefasst wird.

Empirische Verteilung für gegebene beobachtete Werte

Die empirische Verteilungsfunktion ist die Verteilungsfunktion der empirischen Verteilung ${\displaystyle P_{n}}$, die durch

${\displaystyle P_{n}(B)={\frac {1}{n}}\sum _{i=1}^{n}\mathbf {1} _{B}(x_{i}),\quad B\subseteq \mathbb {R} }$

definiert ist und von den beobachteten Werten ${\displaystyle x_{1},\ldots ,x_{n}}$ abhängt.

Wenn die ${\displaystyle n}$ beobachteten Werte paarweise voneinander verschieden sind, dann ist die empirische Verteilung eine diskrete Verteilung, die jedem Beobachtungspunkt den Wert ${\displaystyle 1/n}$ zuordnet, d. h. ${\displaystyle P_{n}({x_{i}})=1/n}$ für ${\displaystyle i=1,\dots ,n}$. Falls bestimmte Werte mehrfach auftreten, ordnet die empirische Verteilung der entsprechenden Stelle die relative Häufigkeit zu. Diese relativen Häufigkieten addieren sich zu Eins. Umgekehrt lässt sich zu jeder empirischen Verteilung ${\displaystyle P_{n}}$ die empirische Verteilungsfunktion

${\displaystyle F_{n}(x)=P_{n}((\infty ,x])\quad {\text{für }}x\in \mathbb {R} }$

definieren. Die empirische Verteilung besitzt formal die Eigenschaften einer Wahrscheinlichkeitsverteilung, kann aber in der deskriptiven Statistik als relative Häufigkeitsverteilung aufgefasst werden, ohne dass eine stochastische Interpretation intendiert ist.

Zufällige empirische Verteilung

Eine zufällige empirische Verteilungsfunktion charakterisiert eine zufällige empirische Verteilung ${\displaystyle {\tilde {P}}_{n}}$, die durch

${\displaystyle {\tilde {P}}_{n}(B)={\frac {1}{n}}\sum _{i=1}^{n}\mathbf {1} _{B}(X_{i}),\quad B\subseteq \mathbb {R} }$

definiert werden kann und von den Zufallsvariablen ${\displaystyle X_{1},\ldots ,X_{n}}$ abhängt.

Zu einer gegebenen zufälligen empirischen Verteilung ${\displaystyle {\tilde {P}}_{n}}$ ergibt sich die zufällige empirische Verteilungsfunktion als

${\displaystyle {\tilde {F}}_{n}(x)={\tilde {P}}_{n}((\infty ,x])\quad {\text{für }}x\in \mathbb {R} .}$