Das Lernproblem des neuronalen Netzes besteht darin, die Gewichte unter den Neuronen so anzupassen, so daß ein definiertes Fehlermaß minimiert wird. Backpropagation, oder Fehlerrückführung, ist eine der am meisten verwendeten Lernmethoden zum Trainieren Neuronaler Netze. Die Backpropagation-Methode ist ein Gradientenabstiegsverfahren und wurde von Hint86 ausführlich beschrieben.
Der Algorithmus findet ein lokales Minimum der Fehlerfunktion, indem die
anfangs zufällig initialisierten Gewichte nach jedem Schritt durch
Berechnung des Gradienten der Fehlerfunktion korrigiert werden.
Der Algorithmus sieht folgendermaßen aus:
Sei der Eingang des Netzes an Knoten j in Schicht i.
Berechnet wird nach folgender Formel:
wobei die Aktivierung des Knotens j in Schicht i, ein vorwärtsgerichtetes Gewicht von Knoten k in Schicht (i-1) zu Knoten j in Schicht i, ein rekurrentes Gewicht von Knoten k in Schicht i zu Knoten j in Schicht i und die Anzahl der Knoten im Unternetz i ist. Der Zeitindex (n-1) zeigt an, daß die Rückkopplung um einen Zeitschritt verzögert ist. Die Aktivierung des Knotens j in Schicht i ist:
wobei der Operator die Aktivierungsfunktion des Knotens beschreibt. Hier wurde die logistische Aktivierungsfunktion, auch Sigmoidfunktion, verwendet:
Um den Lernprozeß durchführen zu können, benötigt man ein Qualitätsmaß für das Verhalten des Netzes. Üblicherweise wird hierfür eine Kostenfunktion basierend auf einem Fehlermaß definiert. Der quadratische Fehler für ein Element der Testmenge zum Zeitschritt n lautet:
mit
wobei k ein Element der Indexmenge aller Ausgabeneuronen ist, die aktuelle Ausgabe des Neurons k zum Zeitschritt n und die erwünschte Ausgabe von k. Der Netzfehler für eine Testmenge der Länge N ist:
Die Fehlermaße der Gleichungen und nähern sich 0, wenn die Lernmethode eine Lösung findet. Die Gewichtsanpassungsfunktion lautet:
Mit Hilfe dieser Formeln läßt sich nun der Backpropagation-Algorithmus formulieren:
Mögliche Abbruchkriterien sind eine untere Grenze für den Fehler, eine feste Anzahl von Iterationsschritten oder eine untere Grenze für die Änderung der Netzausgabe.
%