Bestandteile

Ein künstliches Neuron mit dem Index ${\displaystyle j}$ und den n Eingängen, indiziert mit ${\displaystyle i}$, kann durch vier Basiselemente beschrieben werden:

1. Gewichtung: Jeder Eingang bekommt ein Gewicht. Die Gewichte ${\displaystyle w_{ij}}$ (Eingang ${\displaystyle i}$ bei Neuron ${\displaystyle j}$) bestimmen den Grad des Einflusses, den die Eingaben des Neurons in der Berechnung der späteren Aktivierung einnehmen. Abhängig von den Vorzeichen der Gewichte kann eine Eingabe hemmend (inhibitorisch) oder erregend (exzitatorisch) wirken. Ein Gewicht von 0 markiert eine nicht existente Verbindung zwischen zwei Knoten.
2. Übertragungsfunktion: Die Übertragungsfunktion ${\displaystyle \Sigma }$ berechnet anhand der Gewichtung der Eingaben die Netzeingabe des Neurons.
3. Aktivierungsfunktion: Die Ausgabe des Neurons wird schließlich durch die Aktivierungsfunktion ${\displaystyle \varphi }$ bestimmt. Die Aktivierung wird beeinflusst durch die Netzeingabe aus der Übertragungsfunktion sowie einem Schwellenwert.
4. Schwellenwert: Das Addieren eines Schwellenwerts ${\displaystyle \theta _{j}}$ zur Netzeingabe verschiebt die gewichteten Eingaben. Die Bezeichnung ergibt sich aus der Verwendung einer Schwellenwertfunktion als Aktivierungsfunktion, bei der das Neuron aktiviert wird, wenn der Schwellenwert überschritten ist. Die biologische Motivierung dabei ist das Schwellenpotential bei Nervenzellen. Mathematisch gesehen wird die Trennebene, die den Merkmalsraum auftrennt, durch einen Schwellenwert mit einer Translation verschoben.

Durch einen Verbindungsgraphen werden folgende Elemente festgelegt:

1. Eingaben: Eingaben ${\displaystyle x_{i}}$ können einerseits aus dem beobachteten Prozess resultieren, dessen Werte dem Neuron übergeben werden, oder wiederum aus den Ausgaben anderer Neuronen stammen. Sie werden auch so dargestellt:
2. Aktivierung oder Ausgabe: Das Ergebnis der Aktivierungsfunktion wird analog zur Nervenzelle als Aktivierung ${\displaystyle o_{j}}$ (o für "output") des künstlichen Neurons mit dem Index ${\displaystyle j}$ bezeichnet.

Mathematische Definition

Das künstliche Neuron als Modell wird in der Literatur meist auf dem folgenden Weg eingeführt:

Zuerst wird die Aktivierung ${\displaystyle v}$ (in der Abbildung oben als "Netzeingabe" oder "net" bezeichnet) des künstlichen Neurons durch

${\displaystyle v=\sum _{i=1}^{n}x_{i}w_{i}+w_{0}}$

definiert. Da die Mathematik den Index (0..9) und die Anzahl (10) im Allgemeinen nicht unterscheidet, wird als mathematische Vereinfachung normalerweise eine synthetische Eingabe ${\displaystyle x_{0}=1}$ eingeführt und man schreibt

${\displaystyle v=\sum _{i=0}^{n}x_{i}w_{i}}$

${\displaystyle o=\varphi (v)}$

Dabei ist

${\displaystyle n}$ die Anzahl der Eingaben

${\displaystyle x_{i}}$ die Eingabe mit dem Index ${\displaystyle i}$, die sowohl diskret als auch stetig sein kann

${\displaystyle w_{i}}$ die Gewichtung der Eingabe mit dem Index ${\displaystyle i}$

${\displaystyle \varphi }$ die Aktivierungsfunktion und

${\displaystyle o}$ die Ausgabe (englisch output)

Schwellenwertfunktion

Die Schwellenwertfunktion (engl. hard limit), wie sie im Folgenden definiert ist, nimmt nur die Werte ${\displaystyle 0}$ oder ${\displaystyle 1}$ an. Den Wert 1 für die Eingabe ${\displaystyle v\geq 0}$, sonst ${\displaystyle 0}$. Bei subtraktiver Verwendung eines Schwellenwerts ${\displaystyle \theta }$ wird die Funktion nur aktiviert, wenn die zusätzliche Eingabe den Schwellenwert übersteigt. Ein Neuron mit einer solchen Funktion wird auch McCulloch-Pitts-Zelle genannt. Sie spiegelt die Alles-oder-nichts-Eigenschaft des Modells wider.

${\displaystyle \varphi ^{\text{hlim}}(v)={\begin{cases}1&{\text{wenn }}v\geq 0\\0&{\text{wenn }}v<0\end{cases}}}$

Ein Neuron mit dieser Aktivierungsfunktion wird auch so dargestellt:

Stückweise lineare Funktion

Die hier verwendete stückweise lineare Funktion (engl. piecewise linear) bildet ein begrenztes Intervall linear ab, die äußeren Intervalle werden auf einen konstanten Wert abgebildet:

${\displaystyle \varphi ^{\text{pwl}}(v)={\begin{cases}1&{\text{wenn }}v\geq {\frac {1}{2}}\\v+{\frac {1}{2}}&{\text{wenn }}-{\frac {1}{2}}<v<{\frac {1}{2}}\\0&{\text{wenn }}v\leq -{\frac {1}{2}}\end{cases}}}$

Ein Neuron mit der stückweise linearen Funktion als Aktivierungsfunktion wird auch folgendermaßen dargestellt:

Sigmoidfunktion

Sigmoide Funktionen als Aktivierungsfunktion sind sehr häufig verwendete Abbildungen. Sie besitzen, wie hier definiert, ein variables Steigungsmaß ${\displaystyle a}$, das die Krümmung des Funktionsgraphen beeinflusst. Eine spezielle Eigenschaft ist ihre Differenzierbarkeit, die für einige Verfahren wie den Backpropagation-Algorithmus benötigt werden:

${\displaystyle \varphi _{a}^{\text{sig}}(v)={\frac {1}{1+\exp(-av)}}}$

Die Werte der obigen Funktionen liegen im Intervall ${\displaystyle [0,1]}$. Für das Intervall ${\displaystyle [-1,+1]}$ lassen sich diese Funktionen entsprechend definieren.

Ein Neuron mit der Sigmoidfunktion wird auch so dargestellt:

Rectifier (ReLU)

Rectifier als Aktivierungsfunktion wird besonders in Deep-Learning-Modellen erfolgreich eingesetzt. Sie ist als Positivteil ihres Arguments definiert.

${\displaystyle \varphi (v)=\max(0,v)}$

Darstellung boolescher Funktionen

Mit künstlichen Neuronen lassen sich boolesche Funktionen darstellen. So können die drei Funktionen Konjunktion (and), Disjunktion (or) und Negation (not) unter Verwendung einer Schwellenwertfunktion ${\displaystyle \varphi ^{\text{hlim}}}$ wie folgt repräsentiert werden:

Für die Konjunktion zum Beispiel ist ersichtlich, dass nur für die booleschen Eingaben ${\displaystyle x_{1}=1}$ und ${\displaystyle x_{2}=1}$ die Aktivierung

${\displaystyle o=\varphi ^{\text{hlim}}((w_{1}\cdot x_{1}+w_{2}\cdot x_{2})-\theta )=\varphi ^{\text{hlim}}((1{,}0\cdot 1+1{,}0\cdot 1)-1{,}5)=\varphi ^{\text{hlim}}(0{,}5)=1}$

ergibt, sonst ${\displaystyle 0}$.

Einlernen eines Neurons

Anders als im vorherigen Beispiel, bei dem die passenden Gewichtungen gewählt wurden, können Neuronen die zu repräsentierende Funktion erlernen. Die Gewichtungen und der Schwellenwert werden anfangs mit zufälligen Werten belegt und anschließend unter Verwendung eines „Versuch-und-Irrtum“-Lernalgorithmus angepasst.

Wertetabelle der logischen Konjunktion

${\displaystyle x_{1}}$	${\displaystyle x_{2}}$	${\displaystyle x_{1}{\text{ and }}x_{2}}$
0	0	0
0	1	0
1	0	0
1	1	1

Um die logische Konjunktion zu erlernen, kann die Perzeptron-Kriteriumsfunktion angewendet werden. Sie addiert die Werte fehlerhaft erkannter Eingaben auf die Gewichtung hinzu, um die Erkennung zu verbessern, bis möglichst alle Eingaben richtig klassifiziert werden. Die Aktivierungsfunktion ist hier analog zum vorherigen Beispiel die Schwellenwertfunktion ${\displaystyle \varphi ^{\text{hlim}}}$.

Für das Lernverfahren wird die Lernrate, welche die Geschwindigkeit des Einlernens festlegt, mit ${\displaystyle \alpha =1}$ gewählt. Somit entfällt eine explizite Erwähnung.

Statt den Schwellenwert als solchen anzugeben, wird ein on-Neuron (Bias), also ein konstanter Eingang ${\displaystyle x_{0}=1}$ hinzugefügt. Der Schwellenwert wird durch die Gewichtung ${\displaystyle w_{0}=-\theta }$ angegeben.

Um das Neuron auf die beiden möglichen Ausgaben ${\displaystyle 0}$ und ${\displaystyle 1}$ der Konjunktion zu trainieren, werden die Eingaben für die zugehörige Ausgabe ${\displaystyle 0}$ mit ${\displaystyle -1}$ multipliziert. Die Ausgabe ist durch diesen Schritt nur dann ${\displaystyle 0}$, wenn die betreffende Eingabe fehlerhaft klassifiziert wurde. Dieses Vorgehen vereinfacht die Betrachtung beim Einlernen und die spätere Gewichtungsanpassung. Danach sieht die Lerntabelle folgendermaßen aus:

Lerntabelle

Eingaben
${\displaystyle x_{0}}$	${\displaystyle x_{1}}$	${\displaystyle x_{2}}$
−1	0	0
−1	0	−1
−1	−1	0
1	1	1

Der Eingang ${\displaystyle x_{0}}$ hat bei den Eingängen den Wert ${\displaystyle -1}$, bei denen das Neuron am Ende ${\displaystyle 0}$ ausgeben soll.

Für die Ausgangssituation werden die Gewichtungen zufällig gewählt:

Gewicht	Anfänglicher Wert	Bedeutung
${\displaystyle w_{0}}$ (${\displaystyle =-\theta }$)	00,1	Darstellung des Schwellenwerts
${\displaystyle w_{1}}$	00,6	Gewichtung der ersten Eingabe ${\displaystyle x_{1}}$
${\displaystyle w_{2}}$	−0,3	Gewichtung der zweiten Eingabe ${\displaystyle x_{2}}$

Zum Testen der Gewichtungen werden diese in ein Neuron mit drei Eingängen und dem Schwellenwert ${\displaystyle \theta =0}$ eingesetzt. Für die gewählten Gewichte sieht die Ausgabe wie folgt aus:

Ausgabe des Neurons mit zufälligen Gewichten

Eingaben			Ausgabe
${\displaystyle x_{0}}$	${\displaystyle x_{1}}$	${\displaystyle x_{2}}$
−1	0	0	0
−1	0	−1	1
−1	−1	0	0
1	1	1	1

Die erste und dritte Eingabe werden falsch berechnet und das Neuron gibt ${\displaystyle 0}$ aus. Nun findet die Perzeptron-Kriteriumsfunktion ihre Anwendung:

Durch die Addition mit den falsch erkannten Eingaben werden die zugehörigen Gewichte durch

${\displaystyle w_{i}^{\mathrm {neu} }=w_{i}^{\mathrm {alt} }+\sum _{j}\alpha \cdot (t_{j}-o_{j})\cdot x_{i}}$ korrigiert.

Dabei ist

${\displaystyle j}$ die Nummer der Eingabe,

${\displaystyle t_{j}}$ die gewünschte Ausgabe,

${\displaystyle o_{j}}$ die tatsächliche Ausgabe,

${\displaystyle x_{i}}$ die Eingabe des Neurons und

${\displaystyle \alpha >0}$ der Lerngeschwindigkeits-Koeffizient.

Gewichtsanpassung im ersten Schritt Schritt Gewicht Vorheriger Wert Neuer Wert 1 ${\displaystyle w_{0}}$ 00,1 ${\displaystyle w_{0}(1)=w_{0}(0)+(-1)+(-1)=-1{,}9}$ ${\displaystyle w_{1}}$ 00,6 ${\displaystyle w_{1}(1)=w_{1}(0)+0+(-1)=-0{,}4}$ ${\displaystyle w_{2}}$ −0,3 ${\displaystyle w_{2}(1)=w_{2}(0)+0+0=-0{,}3}$

Überprüfung Eingaben Ausgabe ${\displaystyle x_{0}}$ ${\displaystyle x_{1}}$ ${\displaystyle x_{2}}$ −1 0 0 1 −1 0 −1 1 −1 −1 0 1 1 1 1 0

Die Überprüfung nach der Gewichtungsänderung zeigt, dass statt der ersten und dritten Eingabe nun die vierte Eingabe falsch klassifiziert wird. Die Ausführung eines weiteren Schrittes des Lernverfahrens verbessert die Erkennungsfunktion des Neurons:

Gewichtsanpassung im zweiten Schritt Schritt Gewicht Vorheriger Wert Neuer Wert 2 ${\displaystyle w_{0}}$ −1,9 ${\displaystyle w_{0}(2)=w_{0}(1)+1=-0{,}9}$ ${\displaystyle w_{1}}$ −0,4 ${\displaystyle w_{1}(2)=w_{1}(1)+1=0{,}6}$ ${\displaystyle w_{2}}$ −0,3 ${\displaystyle w_{2}(2)=w_{2}(1)+1=0{,}7}$

Überprüfung Eingaben Ausgabe ${\displaystyle x_{0}}$ ${\displaystyle x_{1}}$ ${\displaystyle x_{2}}$ −1 0 0 1 −1 0 −1 1 −1 −1 0 1 1 1 1 1

Nun sieht man, dass das Neuron die vorgegebene Funktion erlernt hat und alle vier Eingaben richtig berechnet.

Unter Verwendung der Eingabe ${\displaystyle x_{1}=1}$ und ${\displaystyle x_{2}=1}$ und die Wahl von ${\displaystyle \theta =-w_{0}}$ folgt nun die Aktivierung:

${\displaystyle {\begin{matrix}o&=&\varphi ^{\text{hlim}}(w_{0}\cdot x_{0}+w_{1}\cdot x_{1}+w_{2}\cdot x_{2})=\varphi ^{\text{hlim}}((w_{1}\cdot x_{1}+w_{2}\cdot x_{2})-\theta )\\&=&\varphi ^{\text{hlim}}((0{,}6\cdot 1+0{,}7\cdot 1)-0{,}9)=\varphi ^{\text{hlim}}(0{,}4)=1\end{matrix}}}$

Für die anderen drei Eingaben, die für das Einlernen mit ${\displaystyle -1}$ multipliziert wurden, ergibt sich nun der Wert ${\displaystyle 0}$. So folgt aus der Eingabe ${\displaystyle x_{1}=0}$ und ${\displaystyle x_{2}=1}$ die Aktivierung:

${\displaystyle o=\varphi ^{\text{hlim}}((0{,}6\cdot 0+0{,}7\cdot 1)-0{,}9)=\varphi ^{\text{hlim}}(-0{,}2)=0}$

Ohne bestimmte Gewichtungen vorzugeben hat das Neuron gelernt anhand der Vorgaben die Konjunktion wie im ersten Beispiel darzustellen.