Mehrdimensionale lineare Regression/Rechenbeispiel

Diese Lernressource enthält elementare Rechenbeispiele zu der Lernressource "Mehrdimensionale lineare Regression"

Lineare Regression kann man als Optimierungsproblem verstehen, bei der man den Fehler für die 3D-Datenpunkte versucht über alle Datenpunkte zu minimieren.

${\displaystyle A={\begin{pmatrix}1&3&5\\2&4&6\\\end{pmatrix}},\quad b={\begin{pmatrix}5\\8\end{pmatrix}}}$

Als Beispieldaten verwenden wir im affinen Modell

${\displaystyle x={\begin{pmatrix}4\\2\\1\end{pmatrix}},\quad y={\begin{pmatrix}21\\29\end{pmatrix}}}$

Für ein affines Modell berechnet man den Bildvektor ${\displaystyle f(x)}$ durch eine Matrixmultiplikation ${\displaystyle A\cdot x}$ und anschließender Translation über ${\displaystyle f(x)=A\cdot x+b}$. Mit dem obigen Beispielvektor ergibt sich:

${\displaystyle A\cdot x={\begin{pmatrix}15\\22\end{pmatrix}}\qquad A\cdot x+b={\begin{pmatrix}20\\30\end{pmatrix}}}$

Mit ${\displaystyle A\in Mat(2\times 3,\mathbb {R} }$ definiert man die affine Abbildung wie folgt:

${\displaystyle {\begin{array}{rrcl}f:&\mathbb {R} ^{n}&\rightarrow &\mathbb {R} ^{m}\\&x&\mapsto &f\left(x\right)=A\cdot x+b\end{array}}}$

Die darstellende Matrix ${\displaystyle A}$ und Translationsvektor ${\displaystyle b}$ sind gesucht und werden durch z.B. numerisch berechnet.

Die affine Abbildung ${\displaystyle f(x)=A\cdot x+b\in \mathbb {R} ^{2}}$ bildet mit ${\displaystyle f(x)}$ nach ${\displaystyle \mathbb {R} ^{2}}$ ab. gegeben, dann transformiert man die affine Abbildung in eine lineare Funktion mit einer Matrix ${\displaystyle A^{\ast }\in Mat(m\times n+1,\mathbb {R} )}$. Diese lineare Abbildung hat dann folgende Gestalt.

${\displaystyle f^{\ast }(x)=A^{\ast }\cdot x^{\ast }\in \mathbb {R} ^{m},}$

mit ${\displaystyle x^{\ast }:=(x_{1},x_{2},x_{n},1)\in \mathbb {R} ^{4}}$ und ${\displaystyle A^{\ast }:=(A,b)\in Mat(2\times 4,\mathbb {R} )}$

Mit den oben gegebenen Matrizen ${\displaystyle A}$ und dem Vektor ${\displaystyle b}$ erhält man die erweiterte Matrix ${\displaystyle A^{\ast }}$ und den erweiterten Vektor ${\displaystyle x^{\ast }}$ wie folgt:

${\displaystyle A^{\ast }={\begin{pmatrix}1&3&5&5\\2&4&6&8\\\end{pmatrix}},\quad x^{\ast }={\begin{pmatrix}4\\2\\1\\1\end{pmatrix}}}$

Als konkretes Beispiel eines Datenpunktes für ein mehrdimensionales lineares Modell wählt man z.B. für ${\displaystyle x=(x_{1},x_{2},x_{3},x_{4})\in \mathbb {R} ^{4}}$, ${\displaystyle y=(y_{1},y_{2})\in \mathbb {R} ^{2}}$. Damit wäre der Datenpunkt

${\displaystyle (x,y)=(x_{1},x_{2},x_{3},x_{4},y_{1},y_{2})\in \mathbb {R} ^{6}}$

Dabei bezeichnet ${\displaystyle x=(x_{1},x_{2},x_{3},x_{4})\in \mathbb {R} ^{4}}$ einen Punkt im vierdimensionalen Raum und ${\displaystyle y=(y_{1},y_{2})\in \mathbb {R} ^{2}}$ z.B. Temperatur ${\displaystyle y_{1}}$ und die Luftfeuchtigkeit ${\displaystyle y_{2}}$ als Messungen an dem Ort ${\displaystyle x=(x_{1},x_{2},x_{3},x_{4})\in \mathbb {R} ^{4}}$.

Durch die Transformation von affinen Abbildungen in lineare Abbildung betrachtet man nun Komponentenfunktionen von linearen Abbildung der Form ${\displaystyle f(x):=A\cdot x}$, wobei ${\displaystyle A}$ eine ${\displaystyle Mat(m\times n,\mathbb {R} )}$ ist.

Über die Matrix ${\displaystyle A\in Mat(2\times 3,\mathbb {R} )}$ sei ${\displaystyle f_{A}:\mathbb {R} ^{3}\to \mathbb {R} ^{2}}$ für den Spaltenvektor ${\displaystyle x\in \mathbb {R} ^{2}}$ wie ${\displaystyle f_{A}(x):=A\cdot x}$ folgt definiert:

${\displaystyle A={\begin{pmatrix}a_{1,1}&a_{1,2}&a_{1,3}\\a_{2,1}&a_{2,2}&a_{2,3}\\\end{pmatrix}}={\begin{pmatrix}a_{1}\\a_{2}\\\end{pmatrix}},\quad x={\begin{pmatrix}x_{1}\\x_{2}\\x_{3}\end{pmatrix}}}$

Die Komponentenfunktionen einer Matrixmultiplikation sind Skalarprodukte.

${\displaystyle f_{A}(x):=A\cdot x={\begin{pmatrix}a_{1,1}\cdot x_{1}+a_{1,2}\cdot x_{2}+a_{1,3}\cdot x_{3}\\a_{2,1}\cdot x_{1}+a_{2,2}\cdot x_{2}+a_{2,3}\cdot x_{3}\end{pmatrix}}={\begin{pmatrix}\langle a_{1},x\rangle \\\langle a_{2},x\rangle \\\end{pmatrix}}}$

Für folgenden Matrix ${\displaystyle A}$

${\displaystyle A={\begin{pmatrix}1&3&5\\2&4&6\\\end{pmatrix}},\quad x={\begin{pmatrix}x_{1}\\x_{2}\\x_{3}\\\end{pmatrix}}}$

ergeben sich daher die folgenden Komponentenfunktionen:

${\displaystyle {\begin{array}{rcl}f_{a_{1}}(x)&=&\langle a_{1},x\rangle =1\cdot x_{1}+3\cdot x_{2}+5\cdot x_{3}\\f_{a_{2}}(x)&=&\langle a_{2},x\rangle =2\cdot x_{1}+3\cdot x_{2}+6\cdot x_{3}\\\end{array}}}$

Bei der Regression betrachtet man eine Fehlerfunktion und dabei vertauscht man die Rolle von Argumenten einer Funktion und statischen Variableninhalten, denn in funktionalen Betrachtung von ${\displaystyle f_{A}(x)=A\cdot x}$ ist ${\displaystyle A}$ bekannt und das Argument ${\displaystyle x}$ die unabhängige Variable, mit der ${\displaystyle y=f_{A}(x)=A\cdot x}$ berechnet wird. Bei der linearen Regression sind Ein-Ausgabepaare ${\displaystyle (x^{(k)},y^{(k)})\in \mathbb {R} ^{n}\times \mathbb {R} ^{m}}$ bekannt und man sucht die Matrix ${\displaystyle A}$, die die Datenpunkte möglichst gut approximiert.

Der Fehlervektor gibt komponentenweise an, ob der von ${\displaystyle f_{A}(x):=A\cdot x}$ berechnete Vektor im Vergleich zu dem Datenvektor ${\displaystyle y}$ zu klein (${\displaystyle >0}$) oder zu groß ist (${\displaystyle <0}$). Der Fehlervektor erhält man nun über:

${\displaystyle {\begin{array}{rcl}f_{A}(x)-y&=&f_{A}(4,2,1)-{\begin{pmatrix}21\\29\end{pmatrix}}\\&=&{\begin{pmatrix}20\\30\end{pmatrix}}-{\begin{pmatrix}21\\29\end{pmatrix}}={\begin{pmatrix}-1\\1\end{pmatrix}}\\\end{array}}}$

Der Fehlervektor ${\displaystyle f_{A}(x)-y\in \mathbb {R} ^{2}}$ gibt in dem obigen Beispiel mit der Matrix ${\displaystyle A}$ an, dass bei Eingabe von ${\displaystyle x=(4,2,1)}$ der berechnete Vektor ${\displaystyle f_{A}(x)}$ in der Wert ersten Komponent um 1 zu klein im Vergleich zum Messwert ${\displaystyle y_{1}}$ ist und in der zweiten Komponente der berechnete Wert ${\displaystyle \langle a_{2},x\rangle }$ 1 Einheit oberhalb des Messwertes ${\displaystyle y_{2}}$ liegt.

Der quadratische Fehler ${\displaystyle \|f_{A}(x)-y\|^{2}}$ ergibt aus dem Quadrat der euklidischen Länge (Norm) des Fehlervektors ${\displaystyle e}$ mit

${\displaystyle \|f_{A}(x)-y\|^{2}=\left\|{\begin{pmatrix}-1\\1\end{pmatrix}}\right\|^{2}=(-1)^{2}+1^{2}=2}$

Dabei ist die euklidische Norm für einen Vektor ${\displaystyle v\in \mathbb {R} ^{n}}$ wie folgt definiert:

${\displaystyle \|v\|:=\left\|{\begin{pmatrix}v_{1}\\\vdots \\v_{m}\end{pmatrix}}\right\|={\sqrt {\sum _{k=0}^{m}v_{k}^{2}}}}$

• Komponentenfunktionen von linearen Abbildung
• Wiki2Reveal
• Matrixmultiplikation mit dem CAS Maxima
• Matrixmultiplikation in R

• Komponentenfunktionen von linearen Abbildung
• Wiki2Reveal

Diese Lernresource können Sie als Wiki2Reveal-Foliensatz darstellen.

Dieser Wiki2Reveal Foliensatz wurde für den Lerneinheit Kurs:Maschinelles Lernen' erstellt der Link für die Wiki2Reveal-Folien wurde mit dem Wiki2Reveal-Linkgenerator erstellt.

• Die Seite wurde als Dokumententyp PanDocElectron-SLIDE erstellt.
• Link zur Quelle in Wikiversity: https://de.wikiversity.org/wiki/Kurs:Maschinelles%20Lernen/Mehrdimensionale%20lineare%20Regression/Rechenbeispiel
• siehe auch weitere Informationen zu Wiki2Reveal und unter Wiki2Reveal-Linkgenerator.