Döndürme işlevi - Swish function
Homoseksüel fonksiyonu bir edilir matematiksel fonksiyon aşağıdaki gibi tanımlanır:
burada β, modele bağlı olarak sabit veya eğitilebilir bir parametredir . β = 1 için fonksiyon , pekiştirmeli öğrenmede kullanılan Sigmoid ağırlıklı Doğrusal Birim (SiL) fonksiyonuna eşdeğer olurken, β = 0 için fonksiyon, ölçeklenmiş doğrusal fonksiyon f( x ) = x /2'ye dönüşür . β → ∞ ile sigmoid bileşeni 0-1 işlevine yaklaşır, bu nedenle swish ReLU işlevi gibi olur . Bu nedenle, doğrusal bir işlev ile ReLU işlevi arasında doğrusal olmayan bir şekilde enterpolasyon yapan bir yumuşatma işlevi olarak görülebilir .
Uygulamalar
2017 yılında üzerinde analiz yaptıktan sonra ImageNet verilerden araştırmacılar Google'da bir şekilde işlevini kullanarak iddia aktivasyon fonksiyonuna içinde yapay sinir ağları relu ve sigmoid işlevlerine kıyasla, performansı artırır. İyileştirmenin bir nedeninin, swish fonksiyonunun geri yayılma sırasında kaybolan gradyan problemini hafifletmeye yardımcı olması olduğuna inanılmaktadır .
