Berechnung der Ausgabewerte

Mit einem Bias ${\displaystyle b}$, den Eingaben ${\displaystyle x_{i}}$ und den Gewichten ${\displaystyle w_{ij}}$ berechnen sich die Ausgabewerte ${\displaystyle o_{j}}$ zu

${\displaystyle o_{j}={\begin{cases}1&\sum _{i}w_{ij}x_{i}+b>0\\0&{\text{ansonsten}}\end{cases}}}$.

Anmerkungen

• Der Bias ${\displaystyle b}$ ist als Schwellenwert ${\displaystyle \theta }$ (engl. threshold) mit einem negativen Vorzeichen festgelegt.
• Verwendet man stattdessen den Schwellenwert ${\displaystyle \theta }$, so ergibt sich die erste Bedingung zu ${\displaystyle \sum _{i}w_{ij}x_{i}>\theta }$ und es ändert sich auch beim zugehörigen Funktionsterm das entsprechende Vorzeichen.

Perzeptron-Lernregel

Es gibt verschiedene Versionen der Lernregel, um auf die unterschiedlichen Definitionen des Perzeptrons einzugehen. Für ein Perzeptron mit binären Ein- und Ausgabewerten wird hier die Lernregel angegeben. Diese Regel konvergiert nur, wenn der Trainings-Datensatz linear separierbar ist, siehe dazu unten unter "Varianten".

Folgende Überlegungen liegen der Lernregel des Perzeptrons zu Grunde:

1. Wenn die Ausgabe eines Neurons 1 (bzw. 0) ist und den Wert 1 (bzw. 0) annehmen soll, dann werden die Gewichtungen nicht geändert.
2. Ist die Ausgabe 0, soll aber den Wert 1 annehmen, dann werden die Gewichte inkrementiert.
3. Ist die Ausgabe 1, soll aber den Wert 0 annehmen, dann werden die Gewichte dekrementiert.

Mathematisch wird der Sachverhalt folgendermaßen ausgedrückt:

${\displaystyle w_{ij}^{\mathrm {neu} }=w_{ij}^{\mathrm {alt} }+\Delta w_{ij}}$,

${\displaystyle \Delta w_{ij}=\alpha \cdot (t_{j}-o_{j})\cdot x_{i}}$.

Dabei ist

${\displaystyle \Delta w_{ij}}$ die Änderung des Gewichts ${\displaystyle w_{ij}}$ für die Verbindung zwischen der Eingabezelle ${\displaystyle i}$ und Ausgabezelle ${\displaystyle j}$,

${\displaystyle t_{j}}$ die gewünschte Ausgabe des Neurons ${\displaystyle j}$,

${\displaystyle o_{j}}$ die tatsächliche Ausgabe,

${\displaystyle x_{i}}$ die Eingabe des Neurons ${\displaystyle i}$ und

${\displaystyle \alpha >0}$ die Lernrate.

Eine Gewichtsaktualisierung im Schritt ${\displaystyle k}$ verläuft danach wie folgt:

1. ${\displaystyle w_{ij}(k+1)=w_{ij}(k)}$ bei korrekter Ausgabe,
2. ${\displaystyle w_{ij}(k+1)=w_{ij}(k)+\alpha x_{i}}$ bei Ausgabe 0 und gewünschter Ausgabe 1 und
3. ${\displaystyle w_{ij}(k+1)=w_{ij}(k)-\alpha x_{i}}$ bei Ausgabe 1 und gewünschter Ausgabe 0.

Rosenblatt konnte im Konvergenztheorem nachweisen, dass mit dem angegebenen Lernverfahren alle Lösungen eingelernt werden können, die ein Perzeptron repräsentieren kann.

XOR-Problem

Frank Rosenblatt zeigte, dass ein einfaches Perzeptron mit zwei Eingabewerten und einem einzigen Ausgabeneuron zur Darstellung der einfachen logischen Operatoren AND, OR und NOT genutzt werden kann. Marvin Minsky und Seymour Papert wiesen jedoch 1969 nach, dass ein einlagiges Perzeptron den XOR-Operator nicht auflösen kann (Problem der linearen Separierbarkeit). Dies führte zu einem Stillstand in der Forschung der künstlichen neuronalen Netze.

Die in diesem Zusammenhang zum Teil äußerst polemisch geführte Diskussion war letztlich ein Richtungsstreit zwischen den Vertretern der symbolischen Künstlichen Intelligenz und der „Konnektionisten“ um Forschungsgelder. Frank Rosenblatt hatte zwar gezeigt, dass logische Operatoren wie XOR (identisch zur Zusammensetzung OR but NOT AND) durch Verwendung eines mehrlagigen Perzeptrons beschrieben werden können, er starb jedoch zu früh, um sich gegen die Angriffe seiner KI-Kollegen zu wehren.

Varianten der Perzeptron-Lernregel

Die oben angegebene Standard-Lernregel konvergiert nur, wenn der Trainings-Datensatz linear separierbar ist. Ist dies nicht der Fall, so wird die Standard-Lernregel keine approximative Lösung erzeugen (zum Beispiel eine Lösung mit möglichst wenigen falsch zugeordneten Daten). Stattdessen wird der Lernvorgang vollständig versagen.

Da lineare Separierbarkeit des Trainings-Datensatzes oft nicht vor Trainingsbeginn bekannt ist, sollten daher Varianten des Trainingsalgorithmus benutzt werden, die robust sind in dem Sinne, dass sie im nicht linear separablen Fall zu einer approximativen Lösung konvergieren.

Ein solches robustes Verfahren ist der Maxover-Algorithmus. Im linear separablen Fall löst er das Trainingsproblem vollständig, auch unter weiteren Optimierungsbedingungen wie maximaler Stabilität (maximaler Abstand zwischen den Daten mit Ausgabe 0 und 1). Im nicht linear separablen Fall erzeugt er eine Lösung mit wenigen falsch zugeordneten Daten. In beiden Fällen geschieht eine graduelle Annäherung an die Lösung im Laufe des Lernvorganges. Der Algorithmus konvergiert zu einer global optimalen Lösung im linear separablen Fall, bzw. zu einer lokal optimalen Lösung im nicht linear separablen Fall.

Der Pocket-Algorithmus lernt mit einer Standard-Perzeptron-Lernregel. Er behält diejenige Lösung, die bisher die wenigsten falsch zugeordneten Daten produzierte, in seiner „Tasche“ (pocket), und gibt diese als approximative Lösung aus. Im linear separablen Fall lernt dieser Algorithmus vollständig. Im nicht linear separablen Fall wird ausgenutzt, dass die Standard-Perzeptron-Lernregel zufällige Lösungen produziert, unter denen stochastisch solche approximativen Lösungen auftauchen. Der Pocket-Algorithmus hat somit Nachteile: Zum einen erfolgt keine graduelle Annäherung an die Lösung, sondern stochastische Sprünge werden ausgenutzt. Da diese zu unvorhersehbaren Zeitpunkten im Lernvorgang auftreten, gibt es keine Sicherheit darüber, wie weit sich der Algorithmus nach einer bestimmten Anzahl von Lernschritten einer optimalen Lösung angenähert hat. Zum anderen muss in jedem Lernschritt die Gesamtzahl der richtig zugeordneten Daten ermittelt werden. Der Algorithmus arbeitet also nicht lokal, wie für neuronale Netze typisch.

Ist die lineare Separabilität des Trainingsdatensatzes bekannt, so können verschiedene Varianten der Standard-Perzeptron-Lernregel genutzt werden. Das "Perzeptron der optimalen Stabilität" (maximaler Abstand zwischen den Daten mit Ausgabe "0" und "1") kann erzeugt werden mit dem Min-Over-Algorithmus (Krauth und Mezard, 1987). Ein besonders schneller Algorithmus, der auf quadratischer Optimierung basiert, ist das AdaTron (Anlauf and Biehl, 1989) Optimale Stabilität, zusammen mit dem Kernel-Trick, sind die konzeptuellen Voraussetzungen der Support Vector Machine.

Das Perzeptron als linearer Klassifikator

Jenseits aller (pseudo-)biologischen Analogien ist ein einlagiges Perzeptron letztlich nichts weiter als ein linearer Klassifikator der Form ${\displaystyle x=a_{1}y_{1}+a_{2}y_{2}+\cdots +a_{n}y_{n}}$ (lineare Diskriminanzfunktion, multiple lineare Regression). In der Nomenklatur der künstlichen neuronalen Netze werden ${\displaystyle a_{1}}$ bis ${\displaystyle a_{n}}$ als Gewichte und ${\displaystyle y_{1}}$ bis ${\displaystyle y_{n}}$ als Eingangssignale bezeichnet, wobei letztere nur Werte von 1 oder 0 („wahr“ oder „falsch“) annehmen können. Überschreitet die Summe ${\displaystyle x}$ einen Schwellenwert, so wird die Zuordnung der gesuchten Klasse auf „wahr“ bzw. 1 gesetzt, sonst auf „falsch“ bzw. 0.