Korrelationskoeffizient

Der Korrelationskoeffizient, auch Produkt-Moment-Korrelation, ist ein Maß für den Grad des linearen Zusammenhangs zwischen zwei mindestens intervallskalierten Merkmalen, das nicht von den Maßeinheiten der Messung abhängt und somit dimensionslos ist. Er kann Werte zwischen $-1$ und $+1$ annehmen. Bei einem Wert von $+1$ (bzw. $-1$ ) besteht ein vollständig positiver (bzw. negativer) linearer Zusammenhang zwischen den betrachteten Merkmalen. Wenn der Korrelationskoeffizient den Wert 0 aufweist, hängen die beiden Merkmale überhaupt nicht linear voneinander ab. Allerdings können diese ungeachtet dessen in nichtlinearer Weise voneinander abhängen. Damit ist der Korrelationskoeffizient kein geeignetes Maß für die (reine) stochastische Abhängigkeit von Merkmalen. Das Quadrat des Korrelationskoeffizienten stellt das Bestimmtheitsmaß dar. Der Korrelationskoeffizient wurde erstmals vom britischen Naturforscher Sir Francis Galton (1822–1911) in den 1870er Jahren verwendet. Karl Pearson lieferte schließlich eine formal-mathematische Begründung für den Korrelationskoeffizienten. Da er von Auguste Bravais und Pearson populär gemacht wurde, wird der Korrelationskoeffizient auch Pearson-Korrelation oder Bravais-Pearson-Korrelation genannt.

Je nachdem, ob der lineare Zusammenhang zwischen zeitgleichen Messwerten zweier verschiedener Merkmale oder derjenige zwischen zeitlich verschiedenen Messwerten eines einzigen Merkmals betrachtet wird, spricht man entweder von der Kreuzkorrelation oder von der Kreuzautokorrelation (siehe auch Zeitreihenanalyse).

Korrelationskoeffizienten wurden mehrfach – so schon von Ferdinand Tönnies – entwickelt, heute wird allgemein jener von Pearson verwendet.

Definitionen

Korrelationskoeffizient für Zufallsvariablen

Konstruktion

Als Ausgangspunkt für die Konstruktion des Korrelationskoeffizienten für zwei Zufallsvariablen $X$ und $Y$ betrachtet man die beiden standardisierten (auf die Standardabweichung bezogenen) Zufallsvariablen ${\tilde {X}}:=(X-\mu _{X})/\sigma _{X}$ und ${\tilde {Y}}:=(Y-\mu _{Y})/\sigma _{Y}$ . Die Kovarianz dieser standardisierten Zufallsvariablen ergibt sich aus dem Satz für lineare Transformationen von Kovarianzen zu

\operatorname {Cov} ({\tilde {X}},{\tilde {Y}})={\frac {1}{\sigma _{X}\sigma _{Y}}}\operatorname {Cov} (X,Y)=\rho _{X,Y}

.

Der Korrelationskoeffizient lässt sich als die Kovarianz der standardisierten Zufallsvariablen ${\tilde {X}}$ und ${\tilde {Y}}$ auffassen.

Definition

Für zwei quadratisch integrierbare Zufallsvariablen $X$ und $Y$ mit jeweils positiver Standardabweichung $\sigma _{X}$ bzw. $\sigma _{Y}$ und Kovarianz $\operatorname {Cov} (X,Y)$ ist der Korrelationskoeffizient (Pearsonscher Maßkorrelationskoeffizient) definiert durch:

\operatorname {Korr} (X,Y)={\frac {\operatorname {Cov} (X,Y)}{{\sqrt {\operatorname {Var} (X)}}{\sqrt {\operatorname {Var} (Y)}}}}={\frac {\sigma _{X,Y}}{\sigma _{X}\sigma _{Y}}}=:\rho _{X,Y}

.

Dieser Korrelationskoeffizient wird auch Korrelationskoeffizient der Grundgesamtheit genannt. Durch die Definitionen der stochastischen Varianz und Kovarianz lässt sich der Korrelationskoeffizient für Zufallsvariablen auch wie folgt darstellen:

\operatorname {Korr} (X,Y)={\frac {\operatorname {E} \left((X-\operatorname {E} (X))(Y-\operatorname {E} (Y))\right)}{\sqrt {\operatorname {E} \left((X-\operatorname {E} (X))^{2}\right)\operatorname {E} \left((Y-\operatorname {E} (Y))^{2}\right)}}},

wobei $\operatorname {E} (\cdot )$ den Erwartungswert darstellt.

Ferner heißen $X,Y$ unkorreliert, falls $\operatorname {Cov} (X,Y)=0$ gilt. Für positive $\sigma _{X}$ und $\sigma _{Y}$ ist das genau dann der Fall, wenn $\rho _{X,Y}=0$ ist. Sind $X,Y$ unabhängig, so sind sie auch unkorreliert, die Umkehrung gilt im Allgemeinen nicht.

Schätzung

Im Rahmen der induktiven Statistik ist man an einer erwartungstreuen Schätzung ${\hat {\rho }}_{X,Y}$ des Korrelationskoeffizienten der Grundgesamtheit $\rho _{X,Y}$ interessiert. Daher werden in die Formel des Korrelationskoeffizienten der Grundgesamtheit erwartungstreue Schätzer der Varianzen und der Kovarianz eingesetzt. Dies führt zum Stichprobenkorrelationskoeffizienten:

R_{X,Y}:={\frac {S_{X,Y}}{S_{X}S_{Y}}}={\frac {\sum _{i=1}^{n}(X_{i}-{\overline {X}})(Y_{i}-{\overline {Y}})}{\sqrt {\sum _{i=1}^{n}(X_{i}-{\overline {X}})^{2}\sum _{i=1}^{n}(Y_{i}-{\overline {Y}})^{2}}}}

Empirischer Korrelationskoeffizient

Sei $(x_{i},y_{i})^{\top },\;i=1,\ldots ,n$ eine zweidimensionale Stichprobe zweier kardinalskalierter Merkmale mit den empirischen Mitteln $\textstyle {\overline {x}}={\frac {1}{n}}\sum _{i=1}^{n}x_{i}$ und $\textstyle {\overline {y}}={\frac {1}{n}}\sum _{i=1}^{n}y_{i}$ der Teilstichproben $x=(x_{1},\ldots ,x_{n})^{\top }$ und $y=(y_{1},\ldots ,y_{n})^{\top }$ . Weiterhin gelte für die empirischen Varianzen $s_{x}^{2}:=\textstyle {\tfrac {1}{n-1}}\sum \nolimits _{i=1}^{n}(x_{i}-{\overline {x}})^{2}$ und $s_{y}^{2}:=\textstyle {\tfrac {1}{n-1}}\sum \nolimits _{i=1}^{n}(y_{i}-{\overline {y}})^{2}$ der Teilstichproben $s_{x}^{2}s_{y}^{2}\neq 0$ . Dann ist der empirische Korrelationskoeffizient – analog zum Korrelationskoeffizienten für Zufallsvariablen, nur dass man statt der theoretischen Momente nun die empirische Kovarianz und die empirischen Varianzen verwendet – definiert durch:

r_{x,y}:={\frac {\sum _{i=1}^{n}(x_{i}-{\overline {x}})(y_{i}-{\overline {y}})}{\sqrt {\sum _{i=1}^{n}(x_{i}-{\overline {x}})^{2}\sum _{i=1}^{n}(y_{i}-{\overline {y}})^{2}}}}={\frac {SP_{x,y}}{\sqrt {SQ_{x}SQ_{y}}}}

Hierbei ist $SQ_{x}$ die Summe der Abweichungsquadrate und $SP_{x,y}$ die Summe der Abweichungsprodukte.

Mithilfe der empirischen Kovarianz $s_{x,y}:={\tfrac {1}{n-1}}\sum \nolimits _{i=1}^{n}(x_{i}-{\overline {x}})(y_{i}-{\overline {y}})$ und den empirischen Standardabweichungen

s_{x}:={\sqrt {{\tfrac {1}{n-1}}\sum \nolimits _{i=1}^{n}\left(x_{i}-{\overline {x}}\right)^{2}}}\quad

und

\quad s_{y}:={\sqrt {{\tfrac {1}{n-1}}\sum \nolimits _{i=1}^{n}\left(y_{i}-{\overline {y}}\right)^{2}}}

der Teilstichproben $x$ und $y$ ergibt sich die folgende Darstellung:

r_{x,y}={\frac {s_{x,y}}{s_{x}s_{y}}}

Sind diese Messreihenwerte z-transformiert, das heißt, $z_{i}:={\tfrac {x_{i}-{\overline {x}}}{s_{x}}}$ , wobei $s_{x}$ die erwartungstreue Schätzung der Varianz bezeichnet, gilt auch:

{\hat {\rho }}={\frac {1}{n-1}}\sum z_{x}z_{y}

Da man in der deskriptiven Statistik nur den Zusammenhang zwischen zwei Variablen als normierte mittlere gemeinsame Streuung in der Stichprobe beschreiben will, wird die Korrelation auch berechnet als

r_{x,y}={\frac {{\frac {1}{n}}\sum _{i=1}^{n}(x_{i}-{\overline {x}})(y_{i}-{\overline {y}})}{{\sqrt {{\frac {1}{n}}\sum _{i=1}^{n}(x_{i}-{\overline {x}})^{2}}}\cdot {\sqrt {{\frac {1}{n}}\sum _{i=1}^{n}(y_{i}-{\overline {y}})^{2}}}}}

.

Da sich die Faktoren ${\tfrac {1}{n}}$ bzw. ${\tfrac {1}{n-1}}$ aus den Formeln herauskürzen, ergibt sich in beiden Fällen der gleiche Wert des Koeffizienten.

Eine „Vereinfachung“ der obigen Formel zur leichteren Berechnung einer Korrelation lautet wie folgt:

r_{x,y}={\frac {n\sum _{i=1}^{n}(x_{i}\cdot y_{i})-(\sum _{i=1}^{n}x_{i})\cdot (\sum _{i=1}^{n}y_{i})}{\sqrt {\left[n\sum _{i=1}^{n}x_{i}^{2}-(\sum _{i=1}^{n}x_{i})^{2}\right]\cdot \left[n\sum _{i=1}^{n}y_{i}^{2}-(\sum _{i=1}^{n}y_{i})^{2}\right]}}}

Diese Transformation der Formel ist aber numerisch instabil und sollte daher nicht mit Gleitkommazahlen verwendet werden, wenn die Mittelwerte nicht nahe null sind.

Beispiel

Für die elf Beobachtungspaare $(x_{i},y_{i})$ sind die Werte in der unten stehenden Tabelle in der zweiten und dritten Spalte gegeben. Die Mittelwerte ergeben sich zu ${\overline {x}}=99/11=9{,}0$ und ${\overline {y}}=82{,}51/11=7{,}5$ und damit können die vierte und fünfte Spalte der Tabelle berechnet werden. Die sechste Spalte enthält das Produkt der vierten mit der fünften Spalte und damit ergibt sich $\sum _{i=1}^{11}(x_{i}-{\overline {x}})(y_{i}-{\overline {y}})=55{,}01$ . Die beiden letzten Spalten enthalten jeweils die Quadrate der vierten und fünften Spalte und es ergibt sich $\sum _{i=1}^{11}(x_{i}-{\overline {x}})^{2}=110{,}00\;$ und $\;\sum _{i=1}^{11}(y_{i}-{\overline {y}})^{2}=41{,}27$ .

Damit ergibt sich für die Korrelation $r_{x,y}={\frac {55{,}01}{{\sqrt {110{,}00}}{\sqrt {41{,}27}}}}=0{,}816$ .

$i$	$x_{i}$	$y_{i}$	$x_{i}-{\overline {x}}$	$y_{i}-{\overline {y}}$	$(x_{i}-{\overline {x}})(y_{i}-{\overline {y}})$	$(x_{i}-{\overline {x}})^{2}$	$(y_{i}-{\overline {y}})^{2}$
1	10,00	8,04	1,00	0,54	0,54	1,00	0,29
2	8,00	6,95	−1,00	−0,55	0,55	1,00	0,30
3	13,00	7,58	4,00	0,08	0,32	16,00	0,01
4	9,00	8,81	0,00	1,31	0,00	0,00	1,71
5	11,00	8,33	2,00	0,83	1,66	4,00	0,69
6	14,00	9,96	5,00	2,46	12,30	25,00	6,05
7	6,00	7,24	−3,00	−0,26	0,78	9,00	0,07
8	4,00	4,26	−5,00	−3,24	16,20	25,00	10,50
9	12,00	10,84	3,00	3,34	10,02	9,00	11,15
10	7,00	4,82	−2,00	−2,68	5,36	4,00	7,19
11	5,00	5,68	−4,00	−1,82	7,28	16,00	3,32
$\Sigma$	99,00	82,51			55,01	110,00	41,27
Alle Werte in der Tabelle sind auf zwei Stellen nach dem Komma gerundet!

Eigenschaften

Mit der Definition des Korrelationskoeffizienten gilt unmittelbar

$\operatorname {Korr} (X,Y)=\operatorname {Korr} (Y,X)\;$ bzw. $\;r_{x,y}=r_{y,x},$
$\operatorname {Korr} (X,X)=1,$
$\operatorname {Korr} (aX+b,Y)=\operatorname {sgn}(a)\cdot \operatorname {Korr} (X,Y).$

Dabei sind $a$ und $b$ reelle Zahlen (mit $a\neq 0$ wegen der definitorisch vorausgesetzten Positivität der Varianz von $aX+b$ ) und $\operatorname {sgn}$ ist die Signumfunktion.

Aus der Cauchy-Schwarzschen Ungleichung folgt

$\operatorname {Korr} (X,Y)\in [-1,1]$ .

Man erkennt:

$Y=aX+b$ fast sicher genau dann, wenn $|\operatorname {Korr} (X,Y)|=1$

Das lässt sich zum Beispiel durch Lösen der Gleichung $\operatorname {E} ((X-aY-b)^{2})=0$ einsehen. In dem Fall ist $a=\operatorname {Korr} (X,Y)\cdot {\frac {\sigma _{Y}}{\sigma _{X}}}$ und $b=\operatorname {E} (Y)-a\cdot \operatorname {E} (X)$ .

Sind die Zufallsgrößen $X$ und $Y$ stochastisch voneinander unabhängig, dann gilt:

$\operatorname {Korr} (X,Y)=0$

Der Umkehrschluss ist allerdings nicht zulässig, denn es können Abhängigkeitsstrukturen vorliegen, die der Korrelationskoeffizient nicht erfasst. Für die multivariate Normalverteilung gilt jedoch: Die Zufallsvariablen $X$ und $Y$ sind genau dann stochastisch unabhängig, wenn sie unkorreliert sind. Wichtig ist hierbei die Voraussetzung, dass $X$ und $Y$ gemeinsam normalverteilt sind. Es reicht nicht aus, dass sowohl $X$ als auch $Y$ normalverteilt sind.

Voraussetzungen für die Pearson-Korrelation

Der Korrelationskoeffizient nach Pearson erlaubt Aussagen über statistische Zusammenhänge unter folgenden Bedingungen:

Skalierung

Der Pearsonsche Korrelationskoeffizient liefert korrekte Ergebnisse bei intervallskalierten und bei dichotomen Daten. Für niedrigere Skalierungen existieren andere Korrelationskonzepte (z. B. Rangkorrelationskoeffizienten).

Normalverteilung

Für die Durchführung von standardisierten Signifikanztests über den Korrelationskoeffizienten in der Grundgesamtheit müssen beide Variablen annähernd normalverteilt sein. Bei zu starken Abweichungen von der Normalverteilung muss auf den Rangkorrelationskoeffizienten zurückgegriffen werden. (Alternativ kann man auch, falls die Verteilung bekannt ist, angepasste (nichtstandardisierte) Signifikanztests verwenden.)

Linearitätsbedingung

Zwischen den Variablen $x$ und $y$ wird ein linearer Zusammenhang vorausgesetzt. Diese Bedingung wird in der Praxis häufig ignoriert; daraus erklären sich mitunter enttäuschend niedrige Korrelationen, obwohl der Zusammenhang zwischen $x$ und $y$ bisweilen trotzdem hoch ist. Ein einfaches Beispiel für einen hohen Zusammenhang trotz eines niedrigen Korrelationskoeffizienten ist die Fibonacci-Folge. Alle Zahlen der Fibonacci-Folge sind durch ihre Position in der Reihe durch eine mathematische Formel exakt determiniert (siehe die Formel von Binet). Der Zusammenhang zwischen der Positionsnummer einer Fibonacci-Zahl und der Größe der Zahl ist vollkommen determiniert. Dennoch beträgt der Korrelationskoeffizient zwischen den Ordnungsnummern der ersten 360 Fibonacci-Zahlen und den betreffenden Zahlen nur 0,20; das bedeutet, dass in erster Näherung nicht viel mehr als $0{,}2^{2}=4\;\%$ der Varianz durch den Korrelationskoeffizienten erklärt werden und 96 % der Varianz „unerklärt“ bleiben. Der Grund ist die Vernachlässigung der Linearitätsbedingung, denn die Fibonacci-Zahlen wachsen progressiv an: In solchen Fällen ist der Korrelationskoeffizient nicht korrekt interpretierbar. Eine mögliche Alternative, die ohne die Voraussetzung der Linearität des Zusammenhangs auskommt, ist die Transinformation.

Signifikanzbedingung

Ein Korrelationskoeffizient > 0 bei positiver Korrelation bzw. < 0 bei negativer Korrelation zwischen $x$ und $y$ berechtigt nicht a priori zur Aussage, es bestehe ein statistischer Zusammenhang zwischen $x$ und $y$ . Eine solche Aussage ist nur gültig, wenn der ermittelte Korrelationskoeffizient signifikant ist. Der Begriff „signifikant“ bedeutet hier „signifikant von Null verschieden“. Je höher die Anzahl der Wertepaare $(x,y)$ und das Signifikanzniveau sind, desto niedriger darf der Absolutbetrag eines Korrelationskoeffizienten sein, um zur Aussage zu berechtigen, zwischen $x$ und $y$ gebe es einen linearen Zusammenhang. Ein t-Test zeigt, ob die Abweichung des ermittelten Korrelationskoeffizienten von Null auch signifikant ist.

Bildliche Darstellung und Interpretation

Sind zwei Merkmale vollständig miteinander korreliert (d. h. $|r|=1$ ), so liegen alle Messwerte in einem 2-dimensionalen Koordinatensystem auf einer Geraden. Bei einer perfekten positiven Korrelation ( $r=+1$ ) steigt die Gerade. Wenn die Merkmale perfekt negativ miteinander korreliert sind ( $r=-1$ ), sinkt die Gerade. Besteht zwischen zwei Merkmalen eine sehr hohe Korrelation, sagt man oft auch, sie erklären dasselbe.

Je näher der Betrag von $r$ bei 0 liegt, desto kleiner der lineare Zusammenhang. Für $r=0$ kann der statistische Zusammenhang zwischen den Messwerten nicht mehr durch eine eindeutig steigende oder sinkende Gerade dargestellt werden. Dies ist z. B. der Fall, wenn die Messwerte rotationssymmetrisch um den Mittelpunkt verteilt sind. Dennoch kann dann ein nichtlinearer statistischer Zusammenhang zwischen den Merkmalen gegeben sein. Umgekehrt gilt jedoch: Wenn die Merkmale statistisch unabhängig sind, nimmt der Korrelationskoeffizient stets den Wert 0 an.

Korrelation: Koinzidenz oder Kausalzusammenhang

In der Monographie „Kontrazeption mit Hormonen“ von Hans-Dieter Taubert und Herbert Kuhl (Abteilung für gynäkologische Endokrinologie, Zentrum der Frauenheilkunde und Geburtshilfe der J.W. Goethe-Universität), die 1981 im Georg Thieme Verlag Stuttgart erschien, wurde das Problem der Bedeutung von Korrelationen bei medizinischen Studien angesprochen. Es ist bekannt, dass Korrelationen (z. B. zwischen Hormondosierungen oder -serumkonzentrationen und dem Auftreten bestimmter Erkrankungen), die bei solchen Untersuchungen ermittelt werden, häufig als Beleg für einen Kausalzusammenhang interpretiert werden. Unabhängig von den zahlreichen methodischen Problemen solcher Studien werden selbst offensichtlich fragwürdige Ergebnisse gerne von den Medien kolportiert.

In dem Abschnitt „Aussagekraft verschiedener Untersuchungskonzepte“ wurde auf den Seiten 207–208 (in der 2. Auflage von 1995 auf den Seiten 239–240) als Beispiel die Bedeutung einer extrem engen Korrelation zwischen der Zahl der Storchenpaare und der Geburtenzahl in der Bevölkerung in Baden-Württemberg in dem Zeitraum zwischen 1966 und 1975 diskutiert. Aus den Daten über die kontinuierliche Abnahme der Storchenpopulation, die dem Journal für Ornithologie von 1979 entnommen wurden und dem Rückgang der Geburtenrate, der sich aus den Zahlen des Statistischen Jahrbuchs der Bundesrepublik Deutschland ergab, wurden

die Regressionsgerade mit $y=0{,}719x-55{,}205$ und
der Korrelationskoeffizient mit $r=-0{,}9655$ berechnet ( $p<0{,}001$ ).

Das Ergebnis ist in Abb. 46 auf S. 208 (bzw. in Abb. 60 auf S. 240 der 2. Auflage 1995) dargestellt. In dem begleitenden Text ist u. a. zu lesen: „Grundsätzlich sollten alle Aussagen über vermutete Zusammenhänge zwischen der Anwendung hormonaler Kontrazeptiva und dem Auftreten bestimmter Erkrankungen aus dem Blickwinkel erfolgen, dass die Wahrscheinlichkeit einer zufälligen Koinzidenz mit der Häufigkeit der Vergleiche steigt. So konnte mit Hilfe kontrollierter prospektiver Untersuchungen in vielen Fällen nachgewiesen werden, dass sich die Häufigkeit bestimmter Erkrankungen bei Einnahme von Ovulationshemmern nicht von der in der Gesamtbevölkerung unterscheidet. Andererseits bedeutet selbst eine hoch signifikante Korrelation zwischen zwei Parametern noch keinen Kausalzusammenhang, auch wenn dieser plausibel erscheint. Dies sei anhand der Beobachtung demonstriert, dass die Zahl der Storchenpaare in Baden-Württemberg von 67 im Jahre 1965 auf 15 im Jahre 1975 abnahm und gleichzeitig die Geburtenzahl in diesem Bundesland von 159.000 auf 97.000 zurück ging (s. Abb.). Zwischen beiden Parametern wurde eine Korrelation ermittelt, die hoch signifikant ( $p<0{,}001$ ) ist. Trotzdem wäre es voreilig, daraus zu schließen, dass für den Geburtenrückgang die Abnahme der Storchenpopulation kausal verantwortlich ist.“ Übrigens ist zur Frage der Plausibilität anzumerken, dass diese grundsätzlich vom aktuellen Kenntnisstand abhängig ist.

Der Korrelationskoeffizient ist kein Indiz eines ursächlichen (d. h. kausalen) Zusammenhangs zwischen den beiden Merkmalen: Die Besiedlung durch Störche im Südburgenland korreliert zwar positiv mit der Geburtenzahl der dortigen Einwohner, doch das bedeutet noch keinen „kausalen Zusammenhang“, trotzdem ist ein „statistischer Zusammenhang“ gegeben. Dieser leitet sich aber aus einem anderen, weiteren Faktor ab, wie dies im Beispiel durch Industrialisierung oder der Wohlstandssteigerung begründet sein kann, die einerseits den Lebensraum der Störche einschränkten und andererseits zu einer Verringerung der Geburtenzahlen führten. Korrelationen dieser Art werden Scheinkorrelationen genannt.

Der Korrelationskoeffizient kann kein Indiz über die Richtung eines Zusammenhanges sein: Steigen die Niederschläge durch die höhere Verdunstung oder steigt die Verdunstung an, weil die Niederschläge mehr Wasser liefern? Oder bedingen sich beide gegenseitig, also möglicherweise in beiderlei Richtung?

Ob ein gemessener Korrelationskoeffizient als groß oder klein interpretiert wird, hängt stark von der Art der untersuchten Daten ab. Bei psychologischen Untersuchungen gelten Werte ab $|r|=0{,}1$ als kleine, $|r|=0{,}3$ als mittlere und $|r|=0{,}5$ als große Effekte.

Das Quadrat des Korrelationskoeffizienten $r^{2}$ nennt man Bestimmtheitsmaß. Es gibt in erster Näherung an, wie viel Prozent der Varianz (d. h. des Streuungsquadrats), der einen Variable durch die Varianz der anderen Variable erklärt werden können. Beispiel: Bei $r=0{,}3$ werden 9 % ( $=0{,}3^{2}=0{,}09$ ) der gesamten auftretenden Varianz im Hinblick auf einen statistischen Zusammenhang erklärt.

Allgemeiner empirischer Korrelationskoeffizient

Der empirische Pearson-Korrelationskoeffizient bedingt, wie oben erwähnt, einen linearen Zusammenhang, um brauchbare Werte zu liefern. Es existiert jedoch auch ein allgemeiner empirischer Korrelationskoeffizient, der für jede beliebige Funktion ${\textstyle {\hat {y}}_{i}=f(x_{i})}$ brauchbare Werte liefert:

R={\sqrt {\frac {\sum _{i=1}^{N}(y_{i}-{\overline {y}})^{2}-\sum _{i=1}^{N}(y_{i}-{\hat {y}}_{i})^{2}}{\sum _{i=1}^{n}(y_{i}-{\overline {y}})^{2}}}}

Der Bruch unter der Wurzel entspricht dem empirischen Bestimmtheitsmaß $R^{2}$ . Für den Spezialfall einer linearen Funktion ${\textstyle {\hat {y}}_{i}=a\cdot x_{i}+b}$ geht der allgemeine empirische Korrelationskoeffizient $R$ wieder in den empirischen Pearson-Korrelationskoeffizienten ${\textstyle r_{x,y}}$ über.

Fisher-Transformation

Empirische Korrelationskoeffizienten sind nicht normalverteilt. Vor der Berechnung von Konfidenzintervallen muss daher erst eine Korrektur der Verteilung mit Hilfe der Fisher-Transformation vorgenommen werden. Wenn die Daten $x$ und $y$ aus einer zumindest annähernd bivariat normalverteilten Grundgesamtheit stammen, dann ist der empirische Korrelationskoeffizient ${\hat {\rho }}$ rechtssteil unimodal verteilt.

Die Fisher-Transformation des Korrelationskoeffizienten ${\hat {\rho }}$ lautet dann

z:=f({\hat {\rho }})=0{,}5\cdot \ln \left({\frac {1+{\hat {\rho }}}{1-{\hat {\rho }}}}\right)=\operatorname {artanh} ({\hat {\rho }})\,

$z$ ist annähernd normalverteilt mit der Standardabweichung $1/{\sqrt {n-3}}$ und Mittelwert

{1 \over 2}\ln \left({{1+\rho } \over {1-\rho }}\right),

wobei $\rho$ hier für den Korrelationskoeffizienten der Grundgesamtheit steht. Die auf Basis dieser Normalverteilung errechnete Wahrscheinlichkeit, dass der Mittelwert von den beiden Grenzen $z_{1}$ und $z_{2}$ umschlossen wird beträgt

P\left(\underbrace {f(r)-{\frac {z_{1-\alpha /2}}{\sqrt {n-3}}}} _{z_{1}}\leq \mu \leq \underbrace {f(r)+{\frac {z_{1-\alpha /2}}{\sqrt {n-3}}}} _{z_{2}}\right)=1-\alpha ,

und wird sodann retransformiert zu

{\begin{aligned}r_{1}&=(e^{2z_{1}}-1)/(e^{2z_{1}}+1)\\r_{2}&=(e^{2z_{2}}-1)/(e^{2z_{2}}+1).\end{aligned}}

Das $(1-\alpha )$ -Konfidenzintervall für die Korrelation lautet sodann

r_{1}\leq {\hat {\rho }}\leq r_{2}

.

Konfidenzintervalle von Korrelationen liegen in aller Regel unsymmetrisch bezüglich ihres Mittelwerts.

Test des Korrelationskoeffizienten / Steigers Z-Test

Folgende Tests (Steigers Z-Test) können durchgeführt werden, wenn die Variablen $X$ und $Y$ annähernd bivariat normalverteilt sind:

$H_{0}\colon \rho =\rho _{0}\;$ vs. $\;H_{1}\colon \rho \neq \rho _{0}$	(zweiseitige Hypothese)
$H_{0}\colon \rho \leq \rho _{0}\;$ vs. $\;H_{1}\colon \rho >\rho _{0}$	(rechtsseitige Hypothese)
$H_{0}\colon \rho \geq \rho _{0}\;$ vs. $\;H_{1}\colon \rho <\rho _{0}$	(linksseitige Hypothese)

Die Teststatistik

T(r)={\frac {f(r)-f(\rho _{0})-\rho _{0}/(n-2)}{1/{\sqrt {n-3}}}}\sim {\mathcal {N}}(0,1)

ist standardnormalverteilt ( $f(\cdot )$ ist die Fisher-Transformation, siehe vorherigen Abschnitt).

Im Spezialfall der Hypothese $H_{0}\colon \rho =0$ vs. $H_{1}\colon \rho \neq 0$ ergibt sich die Teststatistik als t-verteilt mit $n-2$ Freiheitsgraden:

T_{0}(r)={\frac {r{\sqrt {n-2}}}{\sqrt {1-r^{2}}}}\sim t(n-2)

Matthews Korrelationskoeffizient

Betrachtet man zwei binäre Variablen X und Y, so ist der Pearson-Korrelationskoeffizient dieser Variablen

r_{X,Y}=\phi ={\frac {n_{11}n_{00}-n_{10}n_{01}}{\sqrt {n_{1\bullet }n_{0\bullet }n_{\bullet 0}n_{\bullet 1}}}}

und kann direkt aus der Konfusionsmatrix berechnet werden, wobei in der 2×2 Konfusionsmatrix

	y = 1	y = 0	total
x = 1	$n_{11}$	$n_{10}$	$n_{1\bullet }$
x = 0	$n_{01}$	$n_{00}$	$n_{0\bullet }$
total	$n_{\bullet 1}$	$n_{\bullet 0}$	$n$

n₁₁, n₁₀, n₀₁, n₀₀, die nicht negativen absoluten Häufigkeiten der Beobachtungen sind (deren Summe die Zahl der Beobachtungen n ist). Dieser Wert ist auch als Mathews Korrelationskoeffizient (MCC) bekannt und kann unter Umständen numerisch schneller berechenbar sein.

Partieller Korrelationskoeffizient

Die partielle Korrelation kontrolliert den Einfluss von Störvariablen.

Robuste Korrelationskoeffizienten

Der Korrelationskoeffizient nach Pearson ist empfindlich gegenüber Ausreißern. Deswegen wurden verschiedene robuste Korrelationskoeffizienten entwickelt, z. B.

Rangkorrelationskoeffizienten, die Ränge statt der Beobachtungswerte nutzen (wie der Spearman’sche Rangkorrelationskoeffizient (Spearman’sches Rho) und der Kendall’sche Rangkorrelationskoeffizient (Kendall’sches Tau)) oder
die Quadrantenkorrelation.

Quadrantenkorrelation

Die Quadrantenkorrelation ergibt sich aus der Anzahl der Beobachtungen in den vier vom Medianenpaar bestimmten Quadranten. Dazu zählt man, wie viele der Beobachtungen in den Quadranten I und III liegen ( $N_{+}$ ) bzw. wie viele sich in den Quadranten II und IV befinden ( $N_{-}$ ). Die Beobachtungen in den Quadranten I und III liefern jeweils einen Beitrag von $+1/n$ und die Beobachtungen in den Quadranten II und IV von $-1/n$ :

r_{\text{quad}}={\frac {N_{+}-N_{-}}{N_{+}+N_{-}}}={\frac {1}{n}}\sum _{i=1}^{n}\operatorname {sgn}(x_{i}-{\tilde {x}})\operatorname {sgn}(y_{i}-{\tilde {y}})

mit der Signumfunktion $\operatorname {sgn}(\cdot )$ , der Zahl $n$ der Beobachtungen sowie den Medianen ${\tilde {x}}$ und ${\tilde {y}}$ der Beobachtungen. Da jeder Wert von $\operatorname {sgn}(x_{i}-{\tilde {x}})\operatorname {sgn}(y_{i}-{\tilde {y}})$ entweder $-1$ , $0$ oder $+1$ ist, spielt es keine Rolle, wie weit eine Beobachtung von den Medianen entfernt ist.

Über die Quadrantenkorrelation kann mit Hilfe des Median-Tests die Hypothesen $H_{0}\colon r_{\text{quad}}=0\,$ vs. $H_{1}\colon r_{\text{quad}}\neq 0$ überprüft werden. Ist $n_{+}$ die Zahl der Beobachtungen mit $\operatorname {sgn}(x_{i}-{\tilde {x}})\operatorname {sgn}(y_{i}-{\tilde {y}})=+1$ , $n_{-}$ die Zahl der Beobachtungen mit $\operatorname {sgn}(x_{i}-{\tilde {x}})\operatorname {sgn}(y_{i}-{\tilde {y}})=-1$ und $n_{e}:=(n_{+}+n_{-})/2>5$ , dann ist folgende Teststatistik Chi-Quadrat-verteilt mit einem Freiheitsgrad von

{\frac {(n_{+}-n_{e})^{2}+(n_{-}-n_{e})^{2}}{n_{e}}}\sim \chi ^{2}(1)

.

Schätzung der Korrelation zwischen nicht-metrischen Variablen

Die Schätzung der Korrelation mit dem Korrelationskoeffizienten nach Pearson setzt voraus, dass beide Variablen intervallskaliert und normalverteilt sind. Dagegen können die Rangkorrelationskoeffizienten immer dann zur Schätzung der Korrelation verwendet werden, wenn beide Variablen mindestens ordinalskaliert sind. Die Korrelation zwischen einer dichotomen und einer intervallskalierten und normalverteilten Variablen kann mit der punktbiserialen Korrelation geschätzt werden. Die Korrelation zwischen zwei dichotomen Variablen kann mit dem Vierfelderkorrelationskoeffizienten geschätzt werden. Hier kann man die Unterscheidung treffen, dass bei zwei natürlich dichotomen Variablen die Korrelation sowohl durch das Chancenverhältnis als auch durch den Phi-Koeffizient berechnet werden kann. Eine Korrelation aus zwei ordinal- oder einer intervall- und einer ordinal-gemessenen Variablen ist mit dem Spearman’schen Rho oder dem Kendall’schen Tau berechenbar.

Probleme

Das Anscombe-Quartett zeigt Datensätze mit exakt gleichem Korrelationskoeffizient, aber sehr unterschiedlichem Verhalten. Auch andere Probleme sind in der Literatur bekannt.

Siehe auch

Literatur

Francis Galton: Co-relations and their measurement, chiefly from anthropometric data. In: Proceedings of the Royal Society. Band 45, Nr. 13, 5. Dezember 1888, S. 135–145 (galton.org [PDF; 468 kB; abgerufen am 26. November 2021]).
Birk Diedenhofen, Jochen Musch: cocor A Comprehensive Solution for the Statistical Comparison of Correlations. 2015. PLoS ONE, 10(4): e0121945.
Joachim Hartung: Statistik. 12. Auflage, Oldenbourg Verlag 1999, S. 561 f., ISBN 3-486-24984-3.
Peter Zöfel: Statistik für Psychologen. Pearson Studium 2003, München, S. 154.

Weblinks

Wiktionary: Korrelationskoeffizient – Bedeutungserklärungen, Wortherkunft, Synonyme, Übersetzungen

Wikibooks: Einfache Erläuterung des Korrelationskoeffizienten – Lern- und Lehrmaterialien

Wikibooks: ${\begin{smallmatrix}{\mathbf {MATHE} \mu \alpha T\mathbb {R} ix}\end{smallmatrix}}$ : Mathematik für die Schule

Umfassende Erläuterung verschiedener Korrelationskoeffizienten und ihrer Voraussetzungen, sowie häufige Anwendungsfehler
Eric W. Weisstein: Correlation Coefficient. In: MathWorld (englisch). Darstellung des Korrelationskoeffizienten als Kleinste-Quadrate-Schätzer
cocor – Ein freies Web-Interface und R-Paket zum statistischen Vergleich von zwei abhängigen oder unabhängigen Korrelationen mit überlappenden oder nicht überlappenden Variablen

Einzelnachweise

↑ Der Name Produkt-Moment-Korrelation für den Korrelationskoeffizienten für Zufallsvariablen rührt daher, dass $\rho _{X,Y}$ die auf das Produkt der Varianzen – die im Sinne der Stochastik Momente darstellen – von $X$ und $Y$ bezogene Kovarianz ist.
↑ Franka Miriam Brückler: Geschichte der Mathematik kompakt. Das Wichtigste aus Analysis, Wahrscheinlichkeitstheorie, angewandter Mathematik, Topologie und Mengenlehre. Springer-Verlag, 2017, ISBN 978-3-662-55573-6, S. 116.
↑ L. Fahrmeir, R. Künstler u. a.: Statistik. Der Weg zur Datenanalyse. 8. Auflage. Springer 2016, S. 326.
↑ Bayer, Hackel: Wahrscheinlichkeitsrechnung und mathematische Statistik, S. 86.
↑ Torsten Becker u. a.: Stochastische Risikomodellierung und statistische Methoden. Springer Spektrum, 2016. S. 79.
↑ Jürgen Bortz, Christof Schuster: Statistik für Human- und Sozialwissenschaftler. 7. Auflage. Springer-Verlag GmbH, Berlin / Heidelberg / New York 2010, ISBN 978-3-642-12769-4, S. 157.
↑ Erich Schubert, Michael Gertz: Numerically stable parallel computation of (co-)variance. ACM, 2018, ISBN 978-1-4503-6505-5, S. 10, doi:10.1145/3221269.3223036 (acm.org [abgerufen am 26. November 2021]).
↑ Für alle $a\in \mathbb {R} \setminus \{0\}$ und $b\in \mathbb {R}$ gilt:
$\operatorname {Korr} (aX+b,Y)={\frac {\operatorname {Cov} (aX+b,Y)}{{\sqrt {\operatorname {Var} (aX+b)}}{\sqrt {\operatorname {Var} (Y)}}}}={\frac {a\cdot \operatorname {Cov} (X,Y)}{{\sqrt {a^{2}\cdot \operatorname {Var} (X)}}{\sqrt {\operatorname {Var} (Y)}}}}={\frac {a}{|a|}}\cdot {\frac {\operatorname {Cov} (X,Y)}{{\sqrt {\operatorname {Var} (X)}}{\sqrt {\operatorname {Var} (Y)}}}}=\operatorname {sgn}(a)\cdot \operatorname {Korr} (X,Y)$
↑ Jacob Cohen: A power primer. In: Psychological Bulletin. Band 112, Nr. 1, 1992, ISSN 1939-1455, S. 155–159, doi:10.1037/0033-2909.112.1.155 (apa.org [abgerufen am 26. November 2021]).
↑ Jacob Cohen: A power primer. (PDF; 800 kB) In: personal.kent.edu. 1991, abgerufen am 26. November 2021 (englisch).
↑ J. H. Steiger: Tests for comparing elements of a correlation matrix. 1980. Psychological Bulletin, 87, 245–251, doi:10.1037/0033-2909.87.2.245.
↑ Aggarwal, Rakesh, and Priya Ranganathan. "Common pitfalls in statistical analysis: The use of correlation techniques." Perspectives in clinical research 7.4 (2016): 187. https://www.ncbi.nlm.nih.gov/pmc/articles/PMC5079093/

This article is issued from Wikipedia. The text is licensed under Creative Commons - Attribution - Sharealike. Additional terms may apply for the media files.

[1] Der Name Produkt-Moment-Korrelation für den Korrelationskoeffizienten für Zufallsvariablen rührt daher, dass $\rho _{X,Y}$ die auf das Produkt der Varianzen – die im Sinne der Stochastik Momente darstellen – von $X$ und $Y$ bezogene Kovarianz ist.

[2] Franka Miriam Brückler: Geschichte der Mathematik kompakt. Das Wichtigste aus Analysis, Wahrscheinlichkeitstheorie, angewandter Mathematik, Topologie und Mengenlehre. Springer-Verlag, 2017, ISBN 978-3-662-55573-6, S. 116.

[3] L. Fahrmeir, R. Künstler u. a.: Statistik. Der Weg zur Datenanalyse. 8. Auflage. Springer 2016, S. 326.

[4] Bayer, Hackel: Wahrscheinlichkeitsrechnung und mathematische Statistik, S. 86.

[5] Torsten Becker u. a.: Stochastische Risikomodellierung und statistische Methoden. Springer Spektrum, 2016. S. 79.

[6] Jürgen Bortz, Christof Schuster: Statistik für Human- und Sozialwissenschaftler. 7. Auflage. Springer-Verlag GmbH, Berlin / Heidelberg / New York 2010, ISBN 978-3-642-12769-4, S. 157.

[7] Erich Schubert, Michael Gertz: Numerically stable parallel computation of (co-)variance. ACM, 2018, ISBN 978-1-4503-6505-5, S. 10, doi:10.1145/3221269.3223036 (acm.org [abgerufen am 26. November 2021]).

[8] Für alle $a\in \mathbb {R} \setminus \{0\}$ und $b\in \mathbb {R}$ gilt:
$\operatorname {Korr} (aX+b,Y)={\frac {\operatorname {Cov} (aX+b,Y)}{{\sqrt {\operatorname {Var} (aX+b)}}{\sqrt {\operatorname {Var} (Y)}}}}={\frac {a\cdot \operatorname {Cov} (X,Y)}{{\sqrt {a^{2}\cdot \operatorname {Var} (X)}}{\sqrt {\operatorname {Var} (Y)}}}}={\frac {a}{|a|}}\cdot {\frac {\operatorname {Cov} (X,Y)}{{\sqrt {\operatorname {Var} (X)}}{\sqrt {\operatorname {Var} (Y)}}}}=\operatorname {sgn}(a)\cdot \operatorname {Korr} (X,Y)$

[9] Jacob Cohen: A power primer. In: Psychological Bulletin. Band 112, Nr. 1, 1992, ISSN 1939-1455, S. 155–159, doi:10.1037/0033-2909.112.1.155 (apa.org [abgerufen am 26. November 2021]).

[10] Jacob Cohen: A power primer. (PDF; 800 kB) In: personal.kent.edu. 1991, abgerufen am 26. November 2021 (englisch).

[11] J. H. Steiger: Tests for comparing elements of a correlation matrix. 1980. Psychological Bulletin, 87, 245–251, doi:10.1037/0033-2909.87.2.245.

[12] Aggarwal, Rakesh, and Priya Ranganathan. "Common pitfalls in statistical analysis: The use of correlation techniques." Perspectives in clinical research 7.4 (2016): 187. https://www.ncbi.nlm.nih.gov/pmc/articles/PMC5079093/