Rprop - Rprop
Rprop , abbreviazione di resilienti backpropagation , è un apprendimento euristica per l'apprendimento supervisionato in feedforward reti neurali artificiali . Si tratta di un primo ordine di ottimizzazione algoritmo . Questo algoritmo è stato creato da Martin Riedmiller e Heinrich Braun nel 1992.
Analogamente alla regola di aggiornamento Manhattan , Rprop prende in considerazione solo il segno della derivata parziale su tutti i modelli (non la grandezza), e agisce in modo indipendente su ciascuna "peso". Per ciascun peso, se v'è stato un cambiamento segno della derivata parziale della funzione errore totale rispetto all'ultima iterazione, il valore di aggiornamento per quel peso viene moltiplicato per un fattore η - , dove η - <1. Se l'ultima iterazione prodotta lo stesso segno, il valore di aggiornamento viene moltiplicato per un fattore di η + , dove η + > 1. I valori di aggiornamento sono calcolati per ciascun peso nel modo sopra, e, infine, ciascun peso viene modificata da un proprio valore di aggiornamento, in senso opposto direzione di derivata parziale di tale peso, in modo da minimizzare la funzione di errore totale. η + è empiricamente impostato a 1.2 e η - a 0,5.
Accanto alla algoritmo di correlazione in cascata e il Levenberg-Marquardt , Rprop è uno dei più veloci meccanismi di aggiornamento del peso.
RPROP è un algoritmo aggiornamento batch.
variazioni
Martin Riedmiller sviluppato tre algoritmi, tutti di nome RPROP. Igel e Hüsken assegnati nomi a loro e ha aggiunto una nuova variante:
- RPROP + è definita in un metodo diretto per una più veloce Adaptive Backpropagation apprendimento: L'algoritmo RPROP .
- RPROP- è definito in avanzata Assistenza Learning in Percettroni multistrato - Da Backpropagation a Adaptive Learning Algorithms . Backtracking viene rimosso dal RPROP +.
- iRPROP- è definito in Rprop - Descrizione e Dettagli di implementazione ed è stato reinventato da Igel e Hüsken. Questa variante è molto popolare e più semplice.
- iRPROP + è definito a Migliorare l'algoritmo di apprendimento Rprop ed è molto robusto e in genere più veloce rispetto alle altre tre varianti.
