Idee

Die Daten liegen als Punktwolke in einem ${\displaystyle p}$-dimensionalen kartesischen Koordinatensystem vor.

Statistisches Modell

Man betrachtet ${\displaystyle p}$ Zufallsvariablen ${\displaystyle X_{j}}$, die bezüglich ihrer Erwartungswerte zentriert sind. Das heißt, ihre Erwartungswerte wurden von der Zufallsvariablen subtrahiert. Diese Zufallsvariablen werden in einem ${\displaystyle p}$-dimensionalen Zufallsvektor ${\displaystyle \mathbf {X} }$ zusammengefasst. Dieser hat als Erwartungswertvektor den Nullvektor und die ${\displaystyle (p\times p)}$-Kovarianzmatrix ${\displaystyle \mathbf {\Sigma } =E[\mathbf {X} \mathbf {X} ^{T}]}$, die symmetrisch und positiv semidefinit ist. Die Eigenwerte ${\displaystyle \lambda _{j}}$, ${\displaystyle j=1,\dots ,p}$, der Matrix ${\displaystyle \mathbf {\Sigma } }$ sind absteigend der Größe nach geordnet (häufig werden die Eigenwerte dann in einem Paretodiagramm dargestellt). Sie werden als Diagonalelemente in der Diagonalmatrix ${\displaystyle \mathbf {\Lambda } }$ aufgeführt. Die zu ihnen gehörenden Eigenvektoren bilden die orthogonale Matrix ${\displaystyle \mathbf {\Gamma } }$. Es gilt dann ${\displaystyle \mathbf {\Lambda } =\mathbf {\Gamma } ^{T}\mathbf {\Sigma } \mathbf {\Gamma } .}$

Wird der Zufallsvektor ${\displaystyle \mathbf {X} }$ linear transformiert zu ${\displaystyle \mathbf {X} \mapsto \mathbf {Y} =\mathbf {\Gamma } ^{T}\mathbf {X} }$, dann ist die Kovarianzmatrix von ${\displaystyle \mathbf {Y} }$ gerade die Diagonalmatrix ${\displaystyle \mathbf {\Lambda } }$, da für die die Kovarianzmatrix des transformierten Zufallsvektors gilt:

${\displaystyle E[\mathbf {\Gamma } ^{T}\mathbf {X} (\mathbf {\Gamma } ^{T}\mathbf {X} )^{T}]=E[\mathbf {\Gamma } ^{T}\mathbf {X} \mathbf {X} ^{T}\mathbf {\Gamma } ]=\mathbf {\Gamma } ^{T}E[\mathbf {X} \mathbf {X} ^{T}]\mathbf {\Gamma } =\mathbf {\Gamma } ^{T}\Sigma \mathbf {\Gamma } =\mathbf {\Lambda } }$.

Zur Verdeutlichung betrachten wir einen dreidimensionalen Zufallsvektor

${\displaystyle \mathbf {X} ={\begin{pmatrix}X_{1}\\X_{2}\\X_{3}\end{pmatrix}}}$.

Die Matrix der Eigenwerte der Kovarianzmatrix ${\displaystyle \mathbf {\Sigma } }$ von ${\displaystyle \mathbf {X} }$ ist

${\displaystyle \mathbf {\Lambda } ={\begin{pmatrix}\lambda _{A}&0&0\\0&\lambda _{B}&0\\0&0&\lambda _{C}\end{pmatrix}},}$

wobei ${\displaystyle \lambda _{A}\geq \lambda _{B}\geq \lambda _{C}}$ ist.

Die normierten ${\displaystyle (3\times 1)}$-Eigenvektoren ${\displaystyle {\boldsymbol {\gamma }}_{j}}$ lassen sich als Spalten der Matrix ${\displaystyle \mathbf {\Gamma } }$ zusammenfassen:

${\displaystyle \mathbf {\Gamma } ={\begin{pmatrix}{\boldsymbol {\gamma }}_{A}&{\boldsymbol {\gamma }}_{B}&{\boldsymbol {\gamma }}_{C}\end{pmatrix}}}$

${\displaystyle ={\begin{pmatrix}\gamma _{1A}&\gamma _{1B}&\gamma _{1C}\\\gamma _{2A}&\gamma _{2B}&\gamma _{2C}\\\gamma _{3A}&\gamma _{3B}&\gamma _{3C}\end{pmatrix}}}$.

Die Matrix-Vektor-Multiplikation

${\displaystyle \mathbf {X} \rightarrow \mathbf {Y} =\mathbf {\Gamma } ^{T}\mathbf {X} }$

ergibt die Gleichungen

${\displaystyle Y_{A}=\gamma _{1A}X_{1}+\gamma _{2A}X_{2}+\gamma _{3A}X_{3}}$

${\displaystyle Y_{B}=\gamma _{1B}X_{1}+\gamma _{2B}X_{2}+\gamma _{3B}X_{3}}$

${\displaystyle Y_{C}=\gamma _{1C}X_{1}+\gamma _{2C}X_{2}+\gamma _{3C}X_{3}}$.

Die Varianz von ${\displaystyle Y_{A}}$ ist

${\displaystyle \operatorname {Var} (Y_{A})=\lambda _{A}.}$

Also hat die Hauptkomponente ${\displaystyle Y_{A}}$ den größten Anteil an der Gesamtvarianz der Daten, ${\displaystyle Y_{B}}$ den zweitgrößten Anteil usw. Die Elemente ${\displaystyle \gamma _{jk}}$, ${\displaystyle j=1,2,3}$; ${\displaystyle k=A,B,C}$, könnte man als Beitrag der Variablen ${\displaystyle X_{j}}$ am Faktor${\displaystyle k}$ bezeichnen. Die Matrix${\displaystyle \mathbf {\Gamma } }$ bezeichnet man in diesem Zusammenhang als Ladungsmatrix, sie gibt an, „wie hoch eine Variable${\displaystyle X}$ auf einen Faktor ${\displaystyle Y}$ lädt“.

Schätzung der Modellparameter

Liegen konkret erhobene Daten mit ${\displaystyle p}$ Merkmalen vor (d. h., jeder Datenpunkt ist ein ${\displaystyle p}$-dimensionaler Vektor), wird aus den Merkmalswerten die Stichproben-Korrelationsmatrix errechnet. Aus dieser Matrix bestimmt man dann die Eigenwerte und Eigenvektoren für die Hauptkomponentenanalyse. Da die Kovarianzmatrix eine symmetrische ${\displaystyle p\times p}$-Matrix ist, sind für ihre Berechnung insgesamt ${\displaystyle (p^{2}+p)/2}$ Parameter zu schätzen. Dies ist nur dann sinnvoll, wenn die Anzahl ${\displaystyle N}$ der Datenpunkte im Datensatz deutlich größer ist, d. h., wenn ${\displaystyle N\gg (p^{2}+p)/2}$. Anderenfalls ist die Bestimmung der Kovarianzmatrix stark fehlerbehaftet und diese Methode sollte nicht angewandt werden.

Beispiel mit drei Variablen

Das oben genannte Anwendungsbeispiel wird jetzt in Zahlen verdeutlicht:

Wir betrachten die Variablen Länge, Breite und Geschwindigkeit. Die Streudiagramme geben einen Eindruck über die gemeinsame Verteilung der Variablen wieder.

Mit diesen drei Variablen wurde mithilfe eines Statistikprogramms eine Hauptkomponentenanalyse durchgeführt. Die Ladungsmatrix ${\displaystyle \Gamma }$ ist

Der Faktor ${\displaystyle y_{A}}$ setzt sich also zusammen aus

${\displaystyle Y_{A}=0{,}862\cdot {\text{Länge}}+0{,}481\cdot {\text{Breite}}-0{,}159\cdot {\text{Geschwindigkeit}}}$.

Vor allem die Beiträge von Länge und Breite zum ersten Faktor sind groß. Beim zweiten Faktor ist vor allem der Beitrag der Länge groß. Der dritte Faktor wird am stärksten von der Variable Breite geladen.

Die Gesamtvarianz der Daten verteilt sich wie folgt auf die Hauptkomponenten:

Faktor	Eigenwert ${\displaystyle \lambda _{j}}$	Prozent der Gesamtvarianz	Prozentualer Anteil der Kumulierten Varianz an Gesamtvarianz
A	2,16	71,97	71,97
B	0,77	25,67	97,64
C	0,07	2,36	100,00

Es werden also durch die ersten zwei Hauptkomponenten bereits 97,64 % der gesamten Varianz der Daten abgedeckt. Der dritte Faktor trägt nichts Nennenswertes zum Informationsgehalt bei.

Beispiel mit acht Variablen

Es wurden nun acht Merkmale der Artillerieschiffe einer Hauptkomponentenanalyse unterzogen. Die Tabelle der Ladungsmatrix, hier „Komponentenmatrix“ genannt, zeigt, dass vor allem die Variablen Länge, Breite, Tiefgang, Wasserverdrängung und Mannschaftsstärke hoch auf die erste Hauptkomponente laden. Diese Komponente könnte man als „Größe“ bezeichnen. Die zweite Komponente wird zum größten Teil durch PS und Knoten erklärt. Sie könnte „Geschwindigkeit“ genannt werden. Eine dritte Komponente lädt noch hoch auf Aktionsradius.

Die beiden ersten Faktoren decken bereits ca. 84 % der Information der Schiffsdaten ab, der dritte Faktor erfasst noch einmal ca. 10 %. Der zusätzliche Beitrag der restlichen Komponenten ist unerheblich.

Zusammenhang mit der multidimensionalen Skalierung

Sowohl die multidimensionale Skalierung als auch die Hauptkomponentenanalyse verdichten die Daten. Werden in der (metrischen) multidimensionalen Skalierung euklidische Distanzen verwendet und ist die Dimension der Konfiguration gleich der Zahl der Hauptkomponenten, so liefern beide Verfahren die gleiche Lösung. Dies liegt daran, dass die Diagonalisierung der Kovarianzmatrix (bzw. Korrelationsmatrix, falls mit standardisierten Daten gearbeitet wird) bei der Hauptkomponentenanalyse einer Rotation des Koordinatensystems entspricht. Dadurch bleiben die Distanzen zwischen den Beobachtungen, die den Ausgangspunkt in der multidimensionalen Skalierung bilden, gleich.

In der multidimensionalen Skalierung können jedoch auch andere Distanzen verwendet werden; insofern kann die Hauptkomponentenanalyse als Spezialfall der multidimensionalen Skalierung betrachtet werden.