Rprop - Rprop
Rprop , abreviação de resilientes backpropagation , é um aprendizado heurístico para aprendizagem supervisionada em feedforward redes neurais artificiais . Esta é uma primeira ordem de otimização algoritmo . Este algoritmo foi criado por Martin Riedmiller e Heinrich Braun em 1992.
Da mesma forma que a regra de actualização Manhattan , Rprop leva em conta apenas o sinal da derivada parcial sobre todos os padrões (não a magnitude), e atua de forma independente em cada "peso". Para cada peso, se houve uma mudança sinal da derivada parcial da função de erro total em comparação com a última iteração, o valor atualização para que o peso é multiplicado por um fator η - , onde η - <1. Se a última iteração produzido o mesmo sinal, o valor de actualização é multiplicado por um factor de η + , onde η + > 1. os valores de actualização são calculados para cada peso da forma descrita acima, e, finalmente, cada peso é alterada pelo seu próprio valor de actualização, na frente direcção do derivado parcial do peso que, de modo a minimizar a função de erro total. η + é empiricamente ajustada para 1,2 e η - a 0,5.
Ao lado do algoritmo de correlação cascata eo algoritmo de Levenberg-Marquardt , Rprop é um dos mecanismos mais rápidos de atualização de peso.
Rprop é um algoritmo de atualização em lote.
variações
Martin Riedmiller desenvolvidos três algoritmos, todos nomeados Rprop. Igel e Hüsken atribuídos nomes a eles e acrescentou uma nova variante:
- Rprop + é definido em um direto Método Adaptive para Faster Backpropagation Aprendizagem: O Algoritmo Rprop .
- RPROP- é definido pelo avançado Supervisionado Aprendizagem em Perceptrons Multi-Layer - De Backpropagation para Adaptive algoritmos de aprendizado . Retrocesso é removido Rprop +.
- iRPROP- é definida em Rprop - Descrição e detalhes de implementação e foi reinventado pela Igel e Hüsken. Esta variante é muito popular e mais simples.
- iRPROP + é definido na melhoria do algoritmo de aprendizagem Rprop e é muito robusto e tipicamente mais depressa do que os outros três variantes.
