Swish-toiminto - Swish function
Havina toiminto on matemaattinen funktio määritellään seuraavasti:
missä β on joko vakio tai kouluttava parametri mallista riippuen. Ja β = 1, toiminto muuttuu ekvivalentiksi sigmoidifunktiota painotettu Lineaarinen yksikkö (SIL) funktio käyttää vahvistusoppiminen , kun taas β = 0, toiminto muuttuu skaalataan lineaarinen funktio f ( x ) = x / 2. Kun β → ∞, sigmoidikomponentti lähestyy 0-1-funktiota, joten swishistä tulee kuin ReLU- funktiosta. Siten sitä voidaan pitää tasoitustoimintona, joka interpoloi epälineaarisesti lineaarisen funktion ja ReLU-funktion välillä.
Sovellukset
Vuonna 2017, kun se on suorittanut analyysin ImageNet tietoja, tutkijat Google väitetty, että kyseinen toiminto on käytössä kuin aktivaatiofunktio on keinotekoinen neuroverkkojen parantaa suorituskykyä verrattuna Relu ja sigmasuolen toimintoja. Uskotaan, että yksi syy parannukselle on, että swish-toiminto auttaa lievittämään katoavaa kaltevuusongelmaa levityksen aikana .
