Mehrdimensionale lineare Regression

Für die folgenden Lernressource über mehrdimensionale lineare Regression ist es hilfreich den grundlegenden Fall einer linearen Regression für Abbildungen ${\displaystyle f:\mathbb {R} \to \mathbb {R} }$ zu betrachten. Dabei kann ${\displaystyle f}$ eine (affine) Funktion der Form ${\displaystyle f(x)=a\cdot x+b}$, wobei die ${\displaystyle a,b\in \mathbb {R} }$ gesucht sind, die Daten ${\displaystyle \mathbb {D} }$ mit ${\displaystyle (x_{i},y_{i})\in \mathbb {D} }$ möglichst gut approximieren.

Im Unterschied zu dem eindimensionalen Fall für ${\displaystyle x\in \mathbb {R} }$ und ${\displaystyle y\in \mathbb {R} }$ der lineare Regression ${\displaystyle f(x)=a\cdot x+b}$ wird nun auf einen mehrdimensionalen funktionale Zusammenhang ${\displaystyle f:\mathbb {R} ^{n}\to \mathbb {R} ^{m}}$ mit ${\displaystyle f(x)=A\cdot x+b}$ erweitert. Dabei ist ${\displaystyle A\in Mat(m\times n,\mathbb {R} )}$ eine Matrix und ${\displaystyle b\in \mathbb {R} ^{m}}$ ein Spaltenvektor. ${\displaystyle A}$ und ${\displaystyle b}$ sind bei der mehrdimensionale lineare Regression gesucht.

Aus der linearen Algebra ist bekannt, dass die ${\displaystyle f(x)=A\cdot x+b}$ nur dann linear ist, wenn ${\displaystyle b}$ der Nullvektor ist. ${\displaystyle f(x)=A\cdot x+b}$ ist daher im Allgemeinen nicht linear, sondern eine affine Funktion.

Zu der Lerneinheit wurden Demodateien^[1] in KnitR bereitgestellt, um Berechnung zu mehrdimensionale lineare Regression auch auf dem Rechner nachvollziehen zu können.

• Daten und Abbildungen - (Foliensatz)
  • Affine Abbildung in R
  • Rechenbeispiel
  • Schätzfunktion - eindimensionaler Fall - (Foliensatz)
• Transformation - affin nach linear - (Foliensatz)
• Zerlegung einer linearen Abbildung in Komponentenfunktionen
• Regression für Komponentenfunktion - exakte Lösung und Approximation
• Gradient - lineares Funktional - (Foliensatz)
• Gradientenabstieg und Fehlerfunktion - (Foliensatz)
• Fehlerminimierung und Lernrate - (Foliensatz)
• Gesamtfehler aller Fehlerfunktionen - (Foliensatz)
• Umsetzung in R - (Foliensatz)

Die Daten ${\displaystyle \mathbb {D} }$ für die mehrdimensionale lineare Regression bestehen aus Datenpunkten der Form ${\displaystyle (x^{(i)},y^{(i)})\in \mathbb {R} ^{n}\times \mathbb {R} ^{m}}$:

${\displaystyle \mathbb {D} :=\left\{(x^{(i)},y^{(i)})\in \mathbb {R} ^{n}\times \mathbb {R} ^{m}\ \colon \ i\in \{1,\ldots ,d\}\right\}}$

Parallel zu den folgenden Ausführung ist ein Rechenbeispiel ausgeführt

Analog zu einem eindimensionalen Fall für ${\displaystyle x\in \mathbb {R} }$, ${\displaystyle y\in \mathbb {R} }$ und einem Datenpunkt ${\displaystyle (x,y)\in \mathbb {R} ^{2}}$ hat man bei mehrdimensionale lineare Regression Datenpunkte der Form ${\displaystyle (x,y)\in \mathbb {R} ^{n+m}}$ für ${\displaystyle x\in \mathbb {R} ^{n}}$, ${\displaystyle y\in \mathbb {R} ^{m}}$

Für die Abbildung ${\displaystyle f(x)=A\cdot x+b\in \mathbb {R} ^{m}}$ und Daten ${\displaystyle \mathbb {D} :=\{(x^{(1)},y^{(1)},\ldots ,(x^{(d)},y^{(d)})\}}$ sucht man eine geeignete Matrix ${\displaystyle A\in Mat(m\times n,\mathbb {R} )}$ und einem Vektor ${\displaystyle b\in \mathbb {R} ^{m}}$, sodass der aggregierte quadratische Fehler ${\displaystyle E_{MLR}(A,b)}$ über alle Daten aus ${\displaystyle \mathbb {D} }$ möglichst klein wird.

${\displaystyle E_{MLR}(A,b,\mathbb {D} ):=\sum _{k=1}^{m}\|f(x^{(k)})-y^{(k)}\|^{2}{\mbox{ minimal }}}$

In dem Unterkapitel Transformation - affin nach linear wird gezeigt, dass man sich bei Lösungsverfahren bei affinen Abbildungen ${\displaystyle f(x)=A\cdot x+b}$ auf den linearen Fall ${\displaystyle f(x)=A\cdot x}$ beschränken kann. Dadurch ergibt sich für die iterative Umsetzung in R eine vereinfachte Fehlerfunktion ${\displaystyle E_{MLR}}$ für Daten ${\displaystyle \mathbb {D} :=\{(x^{(1)},y^{(1)},\ldots ,(x^{(d)},y^{(d)})\}}$ mit ${\displaystyle x_{\mathbb {D} }=\left(x^{(1)},\ldots ,x^{(d)}\right)}$ und ${\displaystyle y_{\mathbb {D} }=\left(y^{(1)},\ldots ,y^{(d)}\right)}$:

${\displaystyle E_{MLR}(A,x_{\mathbb {D} },y_{\mathbb {D} }):=\sum _{k=1}^{d}\|f(x^{(k)})-y^{(k)}\|^{2}{\mbox{ minimal }}}$

Dabei ist ${\displaystyle \|\cdot \|:\mathbb {R} ^{m}\to \mathbb {R} _{o}^{+}}$ eine Norm auf dem Wertebereich der Funktion. Man kann mit der Norm die Länge des mehrdimensionalen Fehlervektors messen. Dadurch erhält man einen skalaren Fehler in ${\displaystyle \mathbb {R} _{o}^{+}}$.

In der folgenden Animation hat man zweidimensionale Datenpunkte ${\displaystyle (x_{1},x_{2})\in \mathbb {R} ^{2}}$ als unabhängige Variablen und einer eindimensionalen abhängigen Variablen ${\displaystyle y_{1}\in \mathbb {R} }$. Der Graph der affinen Abbildung ${\displaystyle f:\mathbb {R} ^{2}\to \mathbb {R} }$ stellt eine Ebenen im dreidimensionalen Raum ${\displaystyle \mathbb {R} ^{3}=\mathbb {R} ^{2}\times \mathbb {R} }$ dar, wobei die Datenpunkten die Form ${\displaystyle (x_{1},x_{2},y_{1})\in \mathbb {R} ^{3}}$ besitzen.

Durch eine Transformation eines affine Problems ${\displaystyle A\cdot x+b=y}$ in ein lineares ${\displaystyle A^{\ast }x^{\ast }=y}$ reduziert man die Lösungsverfahren auf einfachere lineare Zusammenhänge (siehe auch Lösungsverfahren linearer Gleichungssysteme in der Numerik).

1. ↑ Bert Niehaus (2025) knitr4education GitHub-Repository mit Demodateien für Lerneinheiten in Wikiversity - URL: https://www.github.com/niebert/knitr4education

• lineare Regression in R
• Kurs:Mehrdimensionale lineare Regression
• Kurs:Numerik I
• Gradient (Mathematik)
• Gradientenabstiegsverfahren
• Laden und Speichern von CSV-Dateien in R
• Kurs:Maschinelles Lernen

Diese Lernresource können Sie als Wiki2Reveal-Foliensatz darstellen.

Dieser Wiki2Reveal Foliensatz wurde für den Lerneinheit Kurs:Maschinelles Lernen' erstellt der Link für die Wiki2Reveal-Folien wurde mit dem Wiki2Reveal-Linkgenerator erstellt.

• Die Seite wurde als Dokumententyp PanDocElectron-SLIDE erstellt.
• Link zur Quelle in Wikiversity: https://de.wikiversity.org/wiki/Kurs:Maschinelles%20Lernen/Mehrdimensionale%20lineare%20Regression
• siehe auch weitere Informationen zu Wiki2Reveal und unter Wiki2Reveal-Linkgenerator.