Swish-Funktion - Swish function

Die Swish-Funktion ist eine mathematische Funktion, die wie folgt definiert ist:

${\displaystyle \operatorname {swish} (x):=x\times \operatorname {sigmoid} (\beta x)={\frac {x}{1+e^{-\beta x}}}.}$

wobei β je nach Modell entweder konstant oder ein trainierbarer Parameter ist . Für β = 1 wird die Funktion äquivalent zur Sigmoid-gewichteten Lineareinheit (SiL)-Funktion, die beim Reinforcement Learning verwendet wird , wohingegen für β = 0 die Funktion in die skalierte lineare Funktion f( x ) = x /2 umgewandelt wird. Mit β → ∞, die S - förmige Ansätze Komponente eine 0-1 - Funktion, so Sausen wie die wird relu Funktion. Somit kann sie als Glättungsfunktion angesehen werden, die nichtlinear zwischen einer linearen Funktion und der ReLU-Funktion interpoliert .

Anwendungen

Nach einer Analyse von ImageNet- Daten im Jahr 2017 behaupteten Forscher von Google , dass die Verwendung der Funktion als Aktivierungsfunktion in künstlichen neuronalen Netzen die Leistung im Vergleich zu ReLU- und Sigmoid-Funktionen verbessert. Es wird angenommen , dass ein Grund für die Verbesserung ist , dass die Rascheln Funktion hilft zu lindern verschwindende Gradienten Problem bei Backpropagation .

Verweise