Die Stichprobenkovarianz oder empirische Kovarianz (oft auch einfach Kovarianz (von lateinisch con- = „mit-“ und Varianz von variare = „(ver)ändern, verschieden sein“)) ist in der Statistik eine nichtstandardisierte Maßzahl für den (linearen) Zusammenhang zweier statistischer Variablen. Die korrigierte Stichprobenkovarianz ist eine erwartungstreue Schätzung der Kovarianz einer Grundgesamtheit mittels einer Stichprobe.

Ist die Kovarianz positiv, dann gehen kleine Werte der einen Variable überwiegend einher mit kleinen Werten der anderen Variable und gleichfalls für große Werte. Für eine negative Kovarianz ist das genau umgekehrt.

Definition

Ist ${\displaystyle (x_{1},y_{1}),...,(x_{n},y_{n})}$ eine Datenreihe (Stichprobe) zweier statistischer Variablen ${\displaystyle X}$ und ${\displaystyle Y}$, dann ist die Stichprobenkovarianz definiert als „durchschnittliches Abweichungsprodukt“

${\displaystyle s_{xy}:={\tfrac {1}{n}}SP_{xy}={\frac {1}{n}}\sum _{i=1}^{n}(x_{i}-{\bar {x}})(y_{i}-{\bar {y}})}$

mit den arithmetischen Mitteln ${\displaystyle \textstyle {\bar {x}}={\frac {1}{n}}\sum _{i=1}^{n}x_{i}}$ und ${\displaystyle \textstyle {\bar {y}}={\frac {1}{n}}\sum _{i=1}^{n}y_{i}}$ der Datenreihen ${\displaystyle (x_{1},...,x_{n})}$ und ${\displaystyle (y_{1},...,y_{n})}$.

Die Stichprobenkovarianz misst die gemeinsame Streuung („Mitstreuung“) der Beobachtungsdaten einer Stichprobe. Dabei wird die mittlere Abweichung der Beobachtungsdaten von den Mittelwerten ${\displaystyle ({\bar {x}},{\bar {y}})}$ berechnet.

Korrigierte Stichprobenkovarianz

Um aus einer Stichprobe eine Schätzung der unbekannten Kovarianz ${\displaystyle \sigma _{xy}}$ der Grundgesamtheit zu erhalten wird die korrigierte Stichprobenkovarianz genutzt:

${\displaystyle {\hat {\sigma }}_{xy}={\frac {1}{n-1}}\sum _{i=1}^{n}{(x_{i}-{\bar {x}})(y_{i}-{\bar {y}})}}$

Bei einer einfachen Zufallsstichprobe haben die Stichprobenvariablen ${\displaystyle X_{i}}$ und ${\displaystyle Y_{i}}$ die Kovarianz ${\displaystyle \operatorname {Cov} (X_{i},Y_{i})=\sigma _{xy}}$. Unter Annahme einer zweidimensionalen Normalverteilung der Stichprobenvariablen ${\displaystyle (X_{i},Y_{i})}$ und mit Hilfe der Maximum-Likelihood-Methode ergibt sich die Schätzfunktion

${\displaystyle S_{XY}={\frac {1}{n}}\sum _{i=1}^{n}(X_{i}-{\bar {X}})(Y_{i}-{\bar {Y}})}$.

Es stellt sich jedoch heraus, dass der Erwartungswert ${\displaystyle \operatorname {E} (S_{XY})={\tfrac {n-1}{n}}\sigma _{xy}}$ ist, d. h. die Schätzfunktion ${\displaystyle S_{XY}}$ ist nicht erwartungstreu (also verzerrt) für ${\displaystyle \sigma _{xy}}$.

Die korrigierte Stichprobenkovarianz ist jedoch unverzerrt. Im Rahmen der induktiven Statistik wird daher immer die korrigierte Stichprobenkovarianz verwendet.

Auswahl der Berechnungsformel

Der Kovarianz ${\displaystyle \sigma _{xy}}$ kann, gemäß ihrer Definition, mit der Gleichung

${\displaystyle \sigma _{xy}={\tfrac {1}{n}}\sum _{i=1}^{n}\left(x_{i}-{\bar {x}}\right)\left(y_{i}-{\bar {y}}\right)}$

aus einer Datenreihe berechnet werden. Diese Formel wird verwendet, wenn die Werte ${\displaystyle x_{i}}$ und ${\displaystyle y_{i}}$ einen vollständigen Datensatz beschreiben und die wahren Mittelwerte ${\displaystyle {\bar {x}}}$ und ${\displaystyle {\bar {y}}}$ der beiden Zufallsvariablen bekannt oder ausreichend bekannt sind. Oft liegt jedoch nur eine Stichprobe mit einer reduzierten Anzahl von Messwerten vor, mit denen die Kovarianz nur geschätzt werden kann. Wenn dabei die Mittelwerte aus dem arithmetischen Mittel gebildet werden, liefert die obige Formel systematisch zu kleine Werte. Daher verwendet man insbesondere bei sehr wenigen Messwerten die Formel der korrigierten Stichprobenkovarianz

${\displaystyle \sigma _{xy}\approx {\tfrac {1}{n-1}}\sum _{i=1}^{n}\left(x_{i}-{\bar {x}}\right)\left(y_{i}-{\bar {y}}\right)}$

welche die Kovarianz zumindest erwartungstreu schätzt.

In manchen Fällen sind einzelne Messwerte der Stichprobe unterschiedlich über- oder unterrepräsentiert oder die Messwerte haben unterschiedliche Auftrittswahrscheinlichkeiten. In einem solchen Fall kann mit der erweiterten Formel

${\displaystyle \sigma _{xy}\approx {\tfrac {1}{W}}\sum _{i}w_{i}\left(x_{i}-{\bar {x}}\right)\left(y_{i}-{\bar {y}}\right)}$

jedem Messwert zum Ausgleich ein individuelles Gewicht ${\displaystyle w_{i}}$ zugeordnet werden. Wenn die Gewichte zur Korrektur von relativen Häufigkeiten verwendet werden, dann ist die erwartungstreue Normierung

${\displaystyle {\tfrac {1}{W}}={\frac {1}{-1+\sum _{i}w_{i}}}}$

zu verwenden. Bei Gewichten, die eine Wahrscheinlichkeit angeben, mit der das Wertepaar in einer Stichprobe zu finden ist, muss dagegen mit

${\displaystyle {\tfrac {1}{W}}={\frac {\sum _{i}w_{i}}{\left(\sum _{i}w_{i}\right)^{2}-\sum _{i}w_{i}^{2}}}}$

normiert werden. Die Mittelwerte ${\displaystyle {\bar {x}}}$ und ${\displaystyle {\bar {y}}}$ werden dabei mit den jeweiligen Gewichten gebildet:

${\displaystyle {\bar {x}}={\frac {\sum _{i}w_{i}x_{i}}{\sum _{i}w_{i}}}}$, ${\displaystyle {\bar {y}}={\frac {\sum _{i}w_{i}y_{i}}{\sum _{i}w_{i}}}}$.

Eigenschaften

→ Siehe auch: Kovarianz (Stochastik)#Eigenschaften und Rechenregeln

Beispiele

Beispiel 2

In einer Schule soll überprüft werden, ob es einen Zusammenhang gibt zwischen der Anzahl der unterrichteten Stunden der Lehrer am Tag und der Anzahl der getrunkenen Tassen Kaffee. Es wurden zehn Datenpaare erhoben und ausgewertet (so nicht durchgeführt, nur der Anschauung halber!):

Nummer	1	2	3	4	5	6	7	8	9	10
Anzahl Stunden (${\displaystyle x_{i}}$)	5	6	8	4	6	6	5	7	5	4
Anzahl Tassen (${\displaystyle y_{i}}$)	2	1	4	1	2	0	2	3	3	1

Die Kovarianz wird nun folgendermaßen berechnet:
a.) Zunächst wird das arithmetische Mittel beider Variablen ermittelt:

${\displaystyle \textstyle {\bar {x}}={\frac {1}{n}}\sum _{i=1}^{n}x_{i}={\frac {(5+6+8+4+6+6+5+7+5+4)}{10}}=5{,}6}$ und ${\displaystyle \textstyle {\bar {y}}={\frac {1}{n}}\sum _{i=1}^{n}y_{i}={\frac {(2+1+4+1+2+0+2+3+3+1)}{10}}=1{,}9}$

b.) Die Kovarianz wird nun berechnet über: ${\displaystyle s_{xy}:={\frac {1}{n}}\sum _{i=1}^{n}(x_{i}-{\bar {x}})(y_{i}-{\bar {y}})}$

${\displaystyle ={\tfrac {(5-5{,}6)(2-1{,}9)+(6-5{,}6)(1-1{,}9)+(8-5{,}6)(4-1{,}9)+(4-5{,}6)(1-1{,}9)+(6-5{,}6)(2-1{,}9)+(6-5{,}6)(0-1{,}9)+(5-5{,}6)(2-1{,}9)+(7-5{,}6)(3-1{,}9)+(5-5{,}6)(3-1{,}9)+(4-5{,}6)(1-1{,}9)}{10}}}$

${\displaystyle =0{,}76}$

Da die Kovarianz größer als null ist, ist für diese Stichprobe ein positiver Zusammenhang zwischen der Anzahl der Unterrichtsstunden und der Anzahl der Tassen Kaffee ersichtlich. Ob dies auf die Grundgesamtheit, hier das Lehrerkollegium, generalisierbar ist, hängt von der Qualität der Stichprobe ab.

Stichproben-Kovarianzmatrix

Eine Schätzung der Kovarianzmatrix in der Grundgesamtheit ${\displaystyle {\widehat {\mathbf {\Sigma } }}}$ erhält man, indem man die Varianzen und Kovarianzen in der Grundgesamtheit ${\displaystyle \operatorname {Var} (X_{i})=\sigma _{i}^{2}}$ und ${\displaystyle \operatorname {Cov} (X_{i},X_{j})=\sigma _{ij}\;,i\neq j}$ durch die empirischen Varianzen und empirischen Kovarianzen (ihre empirischen Gegenstücke) ${\displaystyle {\hat {\sigma }}_{j}^{2}=s_{j}^{2}}$ und ${\displaystyle {\hat {\sigma }}_{jk}=s_{jk}}$ ersetzt (sofern die ${\displaystyle x}$-Variablen Zufallsvariablen darstellen schätzen die die Parameter in der Grundgesamtheit). Diese sind gegeben durch

${\displaystyle {\hat {\sigma }}_{j}^{2}=s_{j}^{2}:={\frac {1}{n-1}}\sum \limits _{i=1}^{n}\left(x_{ij}-{\overline {x}}_{j}\right)^{2}\;}$ und ${\displaystyle \;{\hat {\sigma }}_{jk}=s_{jk}:={\frac {1}{n-1}}\sum _{i=1}^{n}(x_{ij}-{\overline {x}}_{j})(x_{ik}-{\overline {x}}_{k})}$.

Dies führt zur Stichproben-Kovarianzmatrix ${\displaystyle \mathbf {S} }$:

${\displaystyle {\begin{aligned}\mathbf {S} ={\widehat {\mathbf {\Sigma } }}={\widehat {\operatorname {Cov} (\mathbf {X} )}}&={\begin{pmatrix}s_{1}^{2}&s_{12}&\cdots &s_{1k}\\\\s_{21}&s_{2}^{2}&\cdots &s_{2k}\\\\\vdots &\vdots &\ddots &\vdots \\\\s_{k1}&s_{k2}&\cdots &s_{k}^{2}\end{pmatrix}}\end{aligned}}}$.

Zum Beispiel sind ${\displaystyle s_{2}^{2}}$ und ${\displaystyle s_{12}}$ gegeben durch

${\displaystyle {\hat {\sigma }}_{2}^{2}=s_{2}^{2}:={\frac {1}{n-1}}\sum \limits _{i=1}^{n}\left(x_{i2}-{\overline {x}}_{2}\right)^{2}\;}$ und ${\displaystyle \;{\hat {\sigma }}_{12}=s_{12}:={\frac {1}{n-1}}\sum _{i=1}^{n}(x_{i1}-{\overline {x}}_{1})(x_{i2}-{\overline {x}}_{2})}$,

mit dem arithmetischen Mittel

${\displaystyle {\overline {x}}_{2}:={\frac {1}{n}}\sum _{i=1}^{n}{x_{i2}}}$.

Beispiel

Bei 10 Datenpunkten seien jeweils die Werte ${\displaystyle x_{1}}$ und ${\displaystyle x_{2}}$ gemessen worden:

Messwerte

${\displaystyle x_{1}}$	${\displaystyle x_{2}}$
1,0	1,41
2,0	1,56
2,0	2,19
4,0	2,79
5,0	3,04
6,0	2,23
9,0	3,74
9,0	3,84
9,0	2,80
13,0	4,18

Die Berechnung des geschätzten Mittelwertes ergibt: ${\displaystyle {\hat {\mu }}_{1}=6}$, ${\displaystyle {\hat {\mu }}_{2}=2{,}78}$, ${\displaystyle {\hat {\sigma }}_{1}=13{,}8}$ ; ${\displaystyle {\hat {\sigma }}_{2}=0{,}81}$, ${\displaystyle {\hat {\text{cov}}}_{1,2}=2{,}972}$.

Daher ist die Stichprobenkovarianzmatrix ${\displaystyle C={\begin{pmatrix}13{,}8&2{,}972\\2{,}972&0{,}81\end{pmatrix}}}$.

In Bezug auf den Mittelpunkt ${\displaystyle ({\hat {\mu }}_{1},{\hat {\mu }}_{2})}$ der Punktwolke kann im Diagramm eine Konzentrationsellipse eingezeichnet werden. Die Punkte auf dem Rand der Ellipse sind also durch folgende Menge gegeben:

${\displaystyle \lbrace (x_{1},x_{2})C^{-1}{\begin{pmatrix}x_{1}\\x_{2}\end{pmatrix}}=k^{2}\rbrace }$.

Siehe auch

• Kovarianzmatrix

Einzelnachweise

1. ↑ Ludwig Fahrmeir, Thomas Kneib, Stefan Lang, Brian Marx: Regression: models, methods and applications. Springer Science & Business Media, 2013, ISBN 978-3-642-34332-2, S. 648.
2. ↑ Rencher, Alvin C., und G. Bruce Schaalje: Linear models in statistics., John Wiley & Sons, 2008., S. 156.