Der LMS-Algorithmus (Least-Mean-Squares-Algorithmus) ist ein Algorithmus zur Approximation der Lösung des Least-Mean-Squares-Problems, das zum Beispiel in der digitalen Signalverarbeitung vorkommt. In der Neuroinformatik ist der Algorithmus vor allem als Delta-Regel oder Widrow-Hoff-Regel bekannt.

Der Algorithmus beruht auf der sogenannten Methode des steilsten Abstiegs (Gradientenverfahren) und schätzt den Gradienten auf einfache Art. Der Algorithmus arbeitet zeitrekursiv, das heißt, mit jedem neuen Datensatz wird der Algorithmus einmal durchlaufen und die Lösung aktualisiert. Die Regel wurde erstmals 1960 von Bernard Widrow und Marcian Edward Hoff für das Einlernen des Adaline-Modells verwendet.

Der LMS-Algorithmus wird auf Grund seiner geringen Komplexität häufig eingesetzt. Einsatzgebiete sind unter anderem adaptive Filter, adaptive Regelungen und Online-Identifikationsverfahren.

Ein bedeutender Nachteil des LMS-Algorithmus ist die Abhängigkeit seiner Konvergenzgeschwindigkeit von den Eingangsdaten, das heißt, der Algorithmus findet unter ungünstigen Umständen möglicherweise keine Lösung. Ungünstige Umstände sind schnelle zeitliche Änderungen der Eingangsdaten.

Algorithmus

Ziel sei es, die Koeffizienten eines FIR-Filters so zu bestimmen, dass der Fehler zwischen Ausgangsdaten des Filters ${\displaystyle {\vec {x}}(n)^{T}{\vec {w}}(n)}$ und vorgegebenen Referenzdaten ${\displaystyle y(n)}$ minimiert wird.

Der LMS-Algorithmus hat dann folgende Form:

${\displaystyle e(n)=y(n)-{\vec {x}}(n)^{T}{\vec {w}}(n)}$

${\displaystyle {\vec {w}}(n+1)={\vec {w}}(n)+\mu e(n){\vec {x}}(n)}$

Dabei ist ${\displaystyle {\vec {x}}(n)}$ ein Vektor mit Eingangsdaten der Zeitpunkte ${\displaystyle n-(M+1)}$ bis ${\displaystyle n,y(n)}$ ein Referenzdatum zum Zeitpunkt ${\displaystyle n}$, ${\displaystyle {\vec {w}}(n)}$ der aktuelle Vektor der Filtergewichte des Transversalfilters der Ordnung ${\displaystyle M,\mu }$ ein Faktor zur Einstellung der Geschwindigkeit und Stabilität der Adaption und ${\displaystyle {\vec {w}}(n+1)}$ der neu zu bestimmende Filtervektor der Ordnung ${\displaystyle M}$. Es wird also zu jedem Zeitpunkt der aktuelle Fehler bestimmt und daraus werden die neuen Filtergewichte ${\displaystyle {\vec {w}}(n+1)}$ berechnet.

Verwendung in der Neuroinformatik

Der LMS-Algorithmus gehört zur Gruppe der überwachten Lernverfahren. Dazu muss ein externer Lehrer existieren, der zu jedem Zeitpunkt der Eingabe die gewünschte Ausgabe, den Zielwert, kennt.

Er kann auf jedes einschichtige künstliche neuronale Netz angewendet werden, dabei muss die Aktivierungsfunktion differenzierbar sein. Das Backpropagation-Verfahren verallgemeinert diesen Algorithmus und kann auch auf mehrschichtige Netze angewandt werden.

Weblinks

• Ausführliche Herleitung der Delta-Regel für Neuronale Netze

Einzelnachweise

1. ↑ Bernard Widrow und Marcian Edward Hoff: Adaptive switching circuits. IRE WESCON Convention Record, vol. 4, Los Angeles 1960, S. 96–104 (PDF).