Fonction d'activation - Activation function

Fonction d'activation logistique

Dans les réseaux de neurones artificiels , la fonction d'activation d'un nœud définit la sortie de ce nœud en fonction d'une entrée ou d'un ensemble d'entrées. Un circuit intégré standard peut être vu comme un réseau numérique de fonctions d'activation qui peuvent être "ON" (1) ou "OFF" (0), selon l'entrée. Ceci est similaire au perceptron linéaire dans les réseaux de neurones . Cependant, seules les fonctions d'activation non linéaires permettent à ces réseaux de calculer des problèmes non triviaux en utilisant seulement un petit nombre de nœuds, et de telles fonctions d'activation sont appelées non-linéarités .

Classification des fonctions d'activation

La plupart des fonctions d'activation commun peuvent être divisés en trois catégories: les fonctions d'arête , les fonctions radiales et les fonctions de pliage .

Fonctions d'activation du faîtage

Les fonctions Ridge sont des fonctions multivariées agissant sur une combinaison linéaire des variables d'entrée. Les exemples souvent utilisés incluent :

• Activation linéaire : ,${\displaystyle \phi (\mathbf {v} )=a+\mathbf {v} '\mathbf {b} }$
• Activation ReLU : ,${\displaystyle \phi (\mathbf {v} )=\max(0,a+\mathbf {v} '\mathbf {b} )}$
• Activation Heaviside : ,${\displaystyle \phi (\mathbf {v} )=1_{a+\mathbf {v} '\mathbf {b} >0}}$
• Activation logistique : .${\displaystyle \phi (\mathbf {v} )=(1+\exp(-a-\mathbf {v} '\mathbf {b} ))^{-1}}$

Dans les réseaux de neurones d'inspiration biologique , la fonction d'activation est généralement une abstraction représentant le taux de déclenchement du potentiel d'action dans la cellule. Dans sa forme la plus simple, cette fonction est binaire, c'est-à-dire que le neurone se déclenche ou non. La fonction ressemble à , où est la fonction pas Heaviside . ${\displaystyle \phi (\mathbf {v} )=U(a+\mathbf {v} '\mathbf {b} )}$${\style d'affichage U}$

Une ligne de pente positive peut être utilisée pour refléter l'augmentation du taux d'allumage qui se produit lorsque le courant d'entrée augmente. Une telle fonction serait de la forme . ${\displaystyle \phi (\mathbf {v} )=a+\mathbf {v} '\mathbf {b} }$

Fonctions d'activation d'unité linéaire rectifiée et d'erreur gaussienne d'unité linéaire

Les neurones ne peuvent pas non plus se déclencher plus rapidement qu'un certain taux, motivant des fonctions d'activation sigmoïde dont la portée est un intervalle fini.

Fonctions d'activation radiale

Une classe spéciale de fonctions d'activation appelées fonctions de base radiale (RBF) est utilisée dans les réseaux RBF , qui sont extrêmement efficaces en tant qu'approximations de fonctions universelles. Ces fonctions d'activation peuvent prendre plusieurs formes telles que :

• Gaussienne :${\displaystyle \,\phi (\mathbf {v} )=\exp \left(-{\frac {\|\mathbf {v} -\mathbf {c} \|^{2}}{2\sigma ^ {2}}}\droit)}$
• Multiquadratiques : ${\displaystyle \,\phi (\mathbf {v} )={\sqrt {\|\mathbf {v} -\mathbf {c} \|^{2}+a^{2}}}}$

où est le vecteur représentant le centre de fonction et et sont des paramètres affectant la propagation du rayon. ${\displaystyle \mathbf {c} }$${\style d'affichage a}$${\style d'affichage \sigma }$

Fonctions d'activation de pliage

Fonctions d'activation de pliage sont largement utilisés dans les couches de mise en commun dans les réseaux de neurones de convolution , et dans les couches de sortie des réseaux de classification multiclasses. Ces activations effectuent une agrégation sur les entrées, par exemple en prenant la moyenne , le minimum ou le maximum . Dans la classification multiclasse, l' activation softmax est souvent utilisée.

Comparaison des fonctions d'activation

Il existe de nombreuses fonctions d'activation. L'article fondateur de Hinton et al. en 2012 sur la reconnaissance automatique de la parole utilise une fonction d'activation sigmoïde logistique. L' architecture de vision par ordinateur AlexNet 2012 utilise la fonction d'activation ReLU, tout comme l'architecture de vision par ordinateur ResNet 2015 . Le modèle de traitement du langage séminal 2018 BERT utilise une version fluide du ReLU, le GELU.

Outre leurs performances empiriques, les fonctions d'activation ont également différentes propriétés mathématiques :

Non linéaire

Lorsque la fonction d'activation est non linéaire, un réseau de neurones à deux couches peut être prouvé être un approximateur de fonction universel. C'est ce qu'on appelle le théorème d'approximation universelle . La fonction d'activation d'identité ne satisfait pas cette propriété. Lorsque plusieurs couches utilisent la fonction d'activation d'identité, l'ensemble du réseau équivaut à un modèle à couche unique.

Varier

Lorsque la plage de la fonction d'activation est finie, les méthodes d'entraînement basées sur le gradient ont tendance à être plus stables, car les présentations de modèles n'affectent de manière significative que des poids limités. Lorsque la plage est infinie, l'entraînement est généralement plus efficace car les présentations de motifs affectent de manière significative la plupart des poids. Dans ce dernier cas, des taux d'apprentissage plus faibles sont généralement nécessaires.

Différenciable en continu

Cette propriété est souhaitable ( ReLU n'est pas différentiable en continu et pose quelques problèmes avec l'optimisation basée sur le gradient, mais elle est toujours possible) pour activer les méthodes d'optimisation basées sur le gradient. La fonction d'activation de l'étape binaire n'est pas dérivable à 0, et elle se différencie à 0 pour toutes les autres valeurs, de sorte que les méthodes basées sur le gradient ne peuvent pas progresser avec elle.

L'équivalence de signe à la fonction d'identité

Deux fonctions réelles f et g sont dites équivalentes de signe si pour toutes les valeurs de z dans le domaine. Où signe est la fonction signum . Les fonctions d'activation telles que tanh, Leaky ReLU, GELU, ELU, Swish et Mish sont des signes équivalents à la fonction d'identité et ne peuvent pas apprendre la fonction XOR avec un seul neurone. La sortie d'un seul neurone ou son activation est , où g est la fonction d'activation. La limite de décision pour un seul neurone est l'ensemble des points qui provoquent une sortie de zéro. Ainsi, la frontière de décision pour un neurone utilisant l'un des signes de fonctions d'activation équivalent à la fonction d'identité est un hyperplan unique. Cependant, les fonctions d'activation oscillatoire peuvent avoir de nombreux zéros et, par conséquent, un seul neurone peut avoir plusieurs hyperplans dans le cadre de sa frontière de décision. Bien que des réseaux multicouches soient nécessaires pour atteindre des limites de décision non linéaires, l'utilisation de fonctions d'activation oscillatoire permet même à des neurones uniques d'afficher des limites de décision non linéaires. ${\style d'affichage signe(f(z))=signe(g(z))}$${\displaystyle a=g(z)=g({\boldsymbol {w}}^{T}{\boldsymbol {x}}+b)}$

Ces propriétés n'influencent pas de manière décisive les performances et ne sont pas non plus les seules propriétés mathématiques pouvant être utiles. Par exemple, la plage strictement positive du softplus le rend approprié pour prédire les variances dans les autoencodeurs variationnels .

Tableau des fonctions d'activation

Le tableau suivant compare les propriétés de plusieurs fonctions d'activation qui sont des fonctions d'un pli x de la ou des couches précédentes :

Nom	Terrain	Fonction, ${\style d'affichage f(x)}$	Dérivé de ,${\style d'affichage f}$${\style d'affichage f'(x)}$	Varier	Ordre de continuité
Identité		${\style d'affichage x}$	${\style d'affichage 1}$	${\style d'affichage (-\infty ,\infty )}$	${\displaystyle C^{\infty }}$
Étape binaire		${\displaystyle {\begin{cases}0&{\text{if }}x<0\\1&{\text{if }}x\geq 0\end{cases}}}$	${\displaystyle {\begin{cases}0&{\text{if }}x\neq 0\\{\text{undefined}}&{\text{if }}x=0\end{cases}}}$	${\style d'affichage \{0,1\}}$	${\style d'affichage C^{-1}}$
Étape logistique , sigmoïde ou douce		${\displaystyle \sigma (x)={\frac {1}{1+e^{-x}}}}$	${\style d'affichage f(x)(1-f(x))}$	${\style d'affichage (0,1)}$	${\displaystyle C^{\infty }}$
Tangente hyperbolique ( tanh )		${\displaystyle \tanh(x)={\frac {e^{x}-e^{-x}}{e^{x}+e^{-x}}}}$	${\style d'affichage 1-f(x)^{2}}$	${\style d'affichage (-1,1)}$	${\displaystyle C^{\infty }}$
Unité linéaire rectifiée (ReLU)		${\displaystyle {\begin{aligned}&{\begin{cases}0&{\text{if }}x\leq 0\\x&{\text{if }}x>0\end{cases}}\\{ }={}&\max\{0,x\}=x{\textbf {1}}_{x>0}\end{aligned}}}$	${\displaystyle {\begin{cases}0&{\text{if }}x<0\\1&{\text{if }}x>0\\{\text{undefined}}&{\text{if }} x=0\end{cas}}}$	${\style d'affichage [0,\infty )}$	${\style d'affichage C^{0}}$
Unité linéaire d'erreur gaussienne (GELU)		${\displaystyle {\begin{aligned}&{\frac {1}{2}}x\left(1+{\text{erf}}\left({\frac {x}{\sqrt {2}}} \right)\right)\\{}={}&x\Phi (x)\end{aligned}}}$	${\style d'affichage \Phi (x)+x\phi (x)}$	${\displaystyle (-0,17\ldots ,\infty )}$	${\displaystyle C^{\infty }}$
Softplus		${\displaystyle \ln \left(1+e^{x}\right)}$	${\displaystyle {\frac {1}{1+e^{-x}}}}$	${\style d'affichage (0,\infty )}$	${\displaystyle C^{\infty }}$
Unité linéaire exponentielle (ELU)		${\displaystyle {\begin{cases}\alpha \left(e^{x}-1\right)&{\text{if }}x\leq 0\\x&{\text{if }}x>0\ fin{cas}}}$ avec paramètre ${\style d'affichage \alpha }$	${\displaystyle {\begin{cases}\alpha e^{x}&{\text{if }}x<0\\1&{\text{if }}x>0\\1&{\text{if }} x=0{\text{ et }}\alpha =1\end{cases}}}$	${\style d'affichage (-\alpha ,\infty )}$	${\displaystyle {\begin{cases}C^{1}&{\text{if }}\alpha =1\\C^{0}&{\text{otherwise}}\end{cases}}}$
Unité linéaire exponentielle mise à l'échelle (SELU)		${\displaystyle \lambda {\begin{cases}\alpha (e^{x}-1)&{\text{if }}x<0\\x&{\text{if }}x\geq 0\end{ cas}}}$ avec des paramètres et${\style d'affichage \lambda=1.0507}$${\style d'affichage \alpha =1.67326}$	${\displaystyle \lambda {\begin{cases}\alpha e^{x}&{\text{if }}x<0\\1&{\text{if }}x\geq 0\end{cases}}}$	${\style d'affichage (-\lambda \alpha ,\infty )}$	${\style d'affichage C^{0}}$
Unité linéaire rectifiée à fuite (Leaky ReLU)		${\displaystyle {\begin{cases}0.01x&{\text{if }}x<0\\x&{\text{if }}x\geq 0\end{cases}}}$	${\displaystyle {\begin{cases}0.01&{\text{if }}x<0\\1&{\text{if }}x\geq 0\end{cases}}}$	${\style d'affichage (-\infty ,\infty )}$	${\style d'affichage C^{0}}$
Unité linéaire rectifiée paramétrée (PReLU)		${\displaystyle {\begin{cases}\alpha x&{\text{if }}x<0\\x&{\text{if }}x\geq 0\end{cases}}}$ avec paramètre ${\style d'affichage \alpha }$	${\displaystyle {\begin{cases}\alpha &{\text{if }}x<0\\1&{\text{if }}x\geq 0\end{cases}}}$	${\style d'affichage (-\infty ,\infty )}$	${\style d'affichage C^{0}}$
Unité linéaire sigmoïde (SiLU, retrait sigmoïde, SiL ou Swish-‍1)		${\displaystyle {\frac {x}{1+e^{-x}}}}$	${\displaystyle {\frac {1+e^{-x}+xe^{-x}}{\left(1+e^{-x}\right)^{2}}}}$	${\displaystyle [-0.278\ldots ,\infty )}$	${\displaystyle C^{\infty }}$
Mish		${\displaystyle x\tanh(\ln(1+e^{x}))}$	${\displaystyle {\frac {(e^{x}(4e^{2x}+e^{3x}+4(1+x)+e^{x}(6+4x)))}}{(2+ 2e^{x}+e^{2x})^{2}}}}$	${\displaystyle [-0.308\ldots ,\infty )}$	${\displaystyle C^{\infty }}$
gaussien		${\displaystyle e^{-x^{2}}}$	${\displaystyle -2xe^{-x^{2}}}$	${\style d'affichage (0,1]}$	${\displaystyle C^{\infty }}$

Le tableau suivant répertorie les fonctions d'activation qui ne sont pas des fonctions d'un seul pli x de la ou des couches précédentes :

Nom	Équation, ${\displaystyle f_{i}\left({\vec {x}}\right)}$	Dérivés ,${\displaystyle {\frac {\partial f_{i}\left({\vec {x}}\right)}{\partial x_{j}}}}$	Varier	Ordre de continuité
Softmax	${\displaystyle {\frac {e^{x_{i}}}{\sum _{j=1}^{J}e^{x_{j}}}}}$    pour i = 1, …, J	${\displaystyle f_{i}\left({\vec {x}}\right)\left(\delta _{ij}-f_{j}\left({\vec {x}}\right)\right) }$	${\style d'affichage (0,1)}$	${\displaystyle C^{\infty }}$
Maxout	${\style d'affichage \max _{i}x_{i}}$	${\displaystyle {\begin{cases}1&{\text{if }}j={\underset {i}{\operatorname {argmax} }}\,x_{i}\\0&{\text{if }}j \neq {\underset {i}{\operatorname {argmax} }}\,x_{i}\end{cases}}}$	${\style d'affichage (-\infty ,\infty )}$	${\style d'affichage C^{0}}$

^ Ici,c'est ledelta de Kronecker.${\displaystyle \delta _{ij}}$

^ Par exemple,pourrait itérer sur le nombre de noyaux de la couche de réseau neuronal précédente tout en itérant sur le nombre de noyaux de lacouche actuelle.${\style d'affichage j}$${\style d'affichage i}$

Voir également

• Fonction logistique
• Redresseur (réseaux de neurones)
• Stabilité (théorie de l'apprentissage)
• Fonction Softmax

Les références