Rprop - Rprop
Rprop , abreviatura de backpropagation resiliente , es una heurística de aprendizaje para el aprendizaje supervisado en redes neuronales artificiales feedforward . Este es un algoritmo de optimización de primer orden . Este algoritmo fue creado por Martin Riedmiller y Heinrich Braun en 1992.
De manera similar a la regla de actualización de Manhattan , Rprop solo tiene en cuenta el signo de la derivada parcial sobre todos los patrones (no la magnitud) y actúa de forma independiente en cada "peso". Para cada peso, si hubo un cambio de signo de la derivada parcial de la función de error total en comparación con la última iteración, el valor de actualización para ese peso se multiplica por un factor η - , donde η - <1. Si la última iteración produjo el mismo signo, el valor de actualización se multiplica por un factor de η + , donde η + > 1. Los valores de actualización se calculan para cada peso de la manera anterior, y finalmente cada peso se cambia por su propio valor de actualización, en el sentido contrario dirección de la derivada parcial de ese peso, para minimizar la función de error total. η + se establece empíricamente en 1,2 y η - en 0,5.
Junto al algoritmo de correlación en cascada y el algoritmo de Levenberg-Marquardt , Rprop es uno de los mecanismos de actualización de peso más rápidos.
RPROP es un algoritmo de actualización por lotes .
Variaciones
Martin Riedmiller desarrolló tres algoritmos, todos llamados RPROP. Igel y Hüsken les asignaron nombres y agregaron una nueva variante:
- RPROP + se define en Un método adaptativo directo para un aprendizaje de retropropagación más rápido: el algoritmo RPROP .
- RPROP− se define como Aprendizaje supervisado avanzado en perceptrones multicapa: desde la retropropagación hasta los algoritmos de aprendizaje adaptativo . El retroceso se elimina de RPROP +.
- iRPROP− se define en Rprop - Description and Implementation Details y fue reinventado por Igel y Hüsken. Esta variante es muy popular y muy sencilla.
- iRPROP + se define como Mejora del algoritmo de aprendizaje Rprop y es muy robusto y, por lo general, más rápido que las otras tres variantes.
