Mehrdimensionale lineare Regression/Gesamtfehler aller Fehlerfunktionen

In den ersten Abschnitten der Lernressource wurde eine lineare Abbildung ${\displaystyle f_{A}(x):=A\cdot x\in \mathbb {R} ^{m}}$ mit ${\displaystyle A\in Mat(m\times n,\mathbb {R} )}$ und ${\displaystyle x\in \mathbb {R} ^{n}}$ in lineare Funktionale der Form ${\displaystyle f_{a_{k}}(x):=\langle a_{k},x\rangle \in \mathbb {R} }$ zerlegt und für diese linearen Funktionale ${\displaystyle f_{a_{k}}}$ mit ${\displaystyle k\in \{1,\ldots m\}}$ eine lineare Regression durchgeführt.

Insgesamt trägt jede Matrixzeile durch den Fehler von ${\displaystyle f_{a_{k}}(x):=\langle a_{k},x\rangle \in \mathbb {R} }$ für jedes ${\displaystyle k\in \{1,\ldots m\}}$ zum Gesamtfehler der mehrdimensionale linearen Regression der linearen Abbildung ${\displaystyle f_{A}(x):=A\cdot x\in \mathbb {R} ^{m}}$ bei.

Die lineare Regression für ${\displaystyle f_{a_{k}}(x):=\langle a_{k},x\rangle \in \mathbb {R} }$ können für jedes ${\displaystyle k\in \{1,\ldots m\}}$ getrennt betrachtet werden, da die Koeffizienten der Matrix ${\displaystyle A}$ in Abhängigkeit von dem Zeilenindex ${\displaystyle k\in \{1,\ldots m\}}$ nur auf die ${\displaystyle k}$-te Ausgabekomponente über das Skalarprodukt wirken.

Für die Berechnung des Gesamtfehlers der muss man die quadratischen Fehler über alle Datenpunkte aggregrien. Die Daten ${\displaystyle \mathbb {D} }$ für die mehrdimensionale lineare Regression bestehen aus Datenpunkten der Form ${\displaystyle (x^{(i)},y^{(i)})\in \mathbb {R} ^{n}\times \mathbb {R} ^{m}}$:

${\displaystyle \mathbb {D} :=\left\{(x^{(i)},y^{(i)})\in \mathbb {R} ^{n}\times \mathbb {R} ^{m}\ \colon \ i\in \{1,\ldots ,d\}\right\}}$

Die gesamten Daten ${\displaystyle \mathbb {D} }$ werden nun entsprechend Komponente ${\displaystyle k\in \{1,\ldots m\}}$ aus dem Wertebereich der linearen Abbildung ${\displaystyle \mathbb {R} ^{m}}$ in ${\displaystyle m}$ Trainingsdaten ${\displaystyle \mathbb {D} _{k}}$ für den Komponentenfunktionen ${\displaystyle f_{a_{k}}}$ zerlegt, wobei jeweils aus ${\displaystyle y^{(i)}=(y_{1}^{(i)},\ldots ,y_{m}^{(i)})\in \mathbb {R} ^{m}}$ die ${\displaystyle k}$-Komponente ${\displaystyle y_{k}^{(i)}}$ verwendet wird.

${\displaystyle \mathbb {D} _{k}:=\left\{(x^{(i)},y_{k}^{(i)})\in \mathbb {R} ^{n}\times \mathbb {R} \ \colon \ i\in \{1,\ldots ,d\}\right\}}$

Durch die Zerlegung in Komponentenfunktionen minimiert man den Fehler für jeden Zeile der Matrix separat. Der folgende Gesamtfehler bezieht sich daher auf die Funktion ${\displaystyle f_{a}(x):=\langle a,x\rangle }$ für ein gesuchtes ${\displaystyle a\in \mathbb {R} ^{n}}$ mit minimalem Gesamtfehler für die Daten ${\displaystyle \mathbb {D} }$.

Für die Berechnung des Gesamtfehlers bzgl. einer Matrix ${\displaystyle A}$ erfolgt über die Zerlegung von ${\displaystyle f_{A}}$ werden in die Komponentenfunktionen ${\displaystyle f_{a_{k}}}$ und der Aggregation der Einzelfehler ${\displaystyle E_{LR}(a_{k},x_{\mathbb {D} _{k}},y_{\mathbb {D} _{k}})}$ durch Summation über aller Matrixzeilen ${\displaystyle k\in 1,\ldots m}$.

${\displaystyle {\begin{array}{rcl}E_{MLR}(A,x_{\mathbb {D} },y_{\mathbb {D} })&:=&\displaystyle \sum _{k=1}^{m}E_{LR}(a_{k},x_{\mathbb {D} _{k}},y_{\mathbb {D} _{k}})\\&=&\displaystyle \sum _{k=1}^{m}\sum _{i=1}^{d}e(a,x^{(i)},y_{k}^{(i)})^{2}\\&=&\displaystyle \sum _{k=1}^{m}\sum _{i=1}^{d}\left(\langle a,x^{(i)}\rangle -y_{k}^{(i)}\right)^{2}\\\end{array}}}$

Die Zerlegung von ${\displaystyle f_{A}}$ in die Komponentenfunktionen ${\displaystyle f_{a_{k}}}$ verändert in der obigen Notation nur die Dimension der Daten im Wertebereich der linearen Abbildung, denn mit ${\displaystyle (x^{(i)},y^{(i)})\in \mathbb {D} \subset \mathbb {R} ^{n}\times \mathbb {R} ^{m}}$ gilt ${\displaystyle x_{\mathbb {D} }=(x^{(1)},\ldots ,x^{(d)})=x_{\mathbb {D} _{k}}}$ aber ${\displaystyle y_{\mathbb {D} }=(y^{(1)},\ldots ,y^{(d)})\in \mathbb {R} ^{d\cdot m}}$ und ${\displaystyle y_{\mathbb {D} _{k}}=(y_{k}^{(1)},\ldots ,y_{k}^{(d)})\in \mathbb {R} ^{d}}$.

Siehe auch Implementation der mehrdimensionalen linearen Regression in R.

• Kurs:Maschinelles Lernen
• Umsetzung der mehrdimensionalen linearen Regression in R
• GNU R - Regression

Diese Lernresource können Sie als Wiki2Reveal-Foliensatz darstellen.

Dieser Wiki2Reveal Foliensatz wurde für den Lerneinheit Mehrdimensionale lineare Regression' erstellt der Link für die Wiki2Reveal-Folien wurde mit dem Wiki2Reveal-Linkgenerator erstellt.

• Die Seite wurde als Dokumententyp PanDocElectron-SLIDE erstellt.
• Link zur Quelle in Wikiversity: https://de.wikiversity.org/wiki/Mehrdimensionale%20lineare%20Regression/Gesamtfehler%20aller%20Fehlerfunktionen
• siehe auch weitere Informationen zu Wiki2Reveal und unter Wiki2Reveal-Linkgenerator.