|
|
|
|
|
|
|
|
Der Impuls-Term erhält seine Wichtung durch den Koeffizienten 
(mit 
, zum Beispiel 
).
Wenn sich der Gradient nicht ändert,
konvergiert die effektive Lernrate
gegen 
.
Verwendung eines Impuls-Terms beim Lernen ist ein gängiges
Verfahren zur Verbesserung der Konvergenz.
Bei komplizierten Problemen können jedoch Schwierigkeiten auftreten,
weil Minima verfehlt oder unter Umständen notwendige Rauschanteile
im Gradientenabstieg unterdrückt werden.
Quickprop :
Lernverfahren, das im wesentlichen
ein stark vereinfachtes Newton-Verfahren darstellt.
Man verwendet
Für Situationen, in denen 
,
wird noch ein Gradienten-Term und zur Begrenzung der Gewichte ein
,,Zerfalls-Term`` hinzugefügt, zum Beispiel
Die Zerfallskonstante ist klein zu wählen, 
.
Der erste Schritt wird als Gradienten-Abstieg durchgeführt.
Wird 
(mit Wachstums-Grenzwert 
, zum Beispiel 
),
so verwendet man 
.
Sind die Vorzeichen von Quickprop- und Gradienten-Beitrag verschieden,
so kann es sinnvoll sein, 
zu verwenden.
Man setzt 
, wenn sich das Vorzeichen der Gradienten-Komponente
umkehrt; dies dient der Vermeidung von Oszillationen.
Für einfache Probleme kann Quickprop zum Teil sehr große
Zeitersparnisse beim Lernen (gegenüber Gradienten-Abstieg) bewirken.
Für kompliziertere Probleme ist die Eignung jedoch jeweils besonders
zu prüfen.
Es empfiehlt sich, mit verschiedenen Varianten zu experimentieren.
|
|
|
|
|
|
|
|
