Aktiveringsfunksjon - Activation function

Logistisk aktiveringsfunksjon

I nevralt nettverk , det aktiveringsfunksjonen av en node definerer utgangen på denne noden gitt en inngang eller et sett av innganger. En standard integrert krets kan sees på som et digitalt nettverk av aktiveringsfunksjoner som kan være "PÅ" (1) eller "AV" (0), avhengig av inngang. Dette ligner det lineære perceptronet i nevrale nettverk . Imidlertid er det bare ikke -lineære aktiveringsfunksjoner som tillater slike nettverk å beregne ikke -private problemer ved å bruke bare et lite antall noder, og slike aktiveringsfunksjoner kalles ikke -lineariteter .

Klassifisering av aktiveringsfunksjoner

De vanligste aktiveringsfunksjonene kan deles inn i tre kategorier: mønefunksjoner , radiale funksjoner og foldfunksjoner .

Ridge aktiveringsfunksjoner

Ridge -funksjoner er multivariate funksjoner som virker på en lineær kombinasjon av inngangsvariablene. Ofte brukte eksempler inkluderer:

Lineær aktivering: , ${\ displaystyle \ phi (\ mathbf {v}) = a+\ mathbf {v} '\ mathbf {b}}$
Relu aktivering: , ${\ displaystyle \ phi (\ mathbf {v}) = \ max (0, a+\ mathbf {v} '\ mathbf {b})}$
Unit aktivering: , ${\ displaystyle \ phi (\ mathbf {v}) = 1_ {a+\ mathbf {v} '\ mathbf {b}> 0}}$
Logis aktivering: . ${\ displaystyle \ phi (\ mathbf {v}) = (1+ \ exp (-a- \ mathbf {v} '\ mathbf {b}))^{-1}}$

I biologisk inspirerte nevrale nettverk er aktiveringsfunksjonen vanligvis en abstraksjon som representerer handlingspotensialet som utløses i cellen. I sin enkleste form er denne funksjonen binær - det vil si at enten neuronet skyter eller ikke. Funksjonen ser ut , hvor er Heaviside -trinnfunksjonen . ${\ displaystyle \ phi (\ mathbf {v}) = U (a+\ mathbf {v} '\ mathbf {b})}$ ${\ displaystyle U}$

En linje med positiv helling kan brukes til å gjenspeile økningen i avfyringshastigheten som oppstår når inngangsstrømmen øker. En slik funksjon ville ha formen . ${\ displaystyle \ phi (\ mathbf {v}) = a+\ mathbf {v} '\ mathbf {b}}$

Utbedret lineær enhet og gaussisk feil lineær enhet aktiveringsfunksjoner

Nevroner kan heller ikke skyte raskere enn en viss hastighet, og motiverer sigmoide aktiveringsfunksjoner hvis rekkevidde er et begrenset intervall.

Radial aktiveringsfunksjoner

En spesiell klasse av aktiveringsfunksjoner er kjent som radielle basisfunksjoner (RBFs) brukes i RBF-nettverk , som er svært effektive som universelle funksjons approximators. Disse aktiveringsfunksjonene kan ha mange former, for eksempel:

Gaussisk : ${\ displaystyle \, \ phi (\ mathbf {v}) = \ exp \ left ( -{\ frac {\ | \ mathbf {v} -\ mathbf {c} \ | ^{2}} {2 \ sigma ^ {2}}} \ høyre)}$
Multikvadratikk: ${\ displaystyle \, \ phi (\ mathbf {v}) = {\ sqrt {\ | \ mathbf {v} -\ mathbf {c} \ |^{2}+a^{2}}}}$

hvor er den vektor som representerer funksjonen sentrum og og er parametre som påvirker spredningen av radien. ${\ displaystyle \ mathbf {c}}$ ${\ displaystyle a}$ ${\ displaystyle \ sigma}$

Folding aktiveringsfunksjoner

Folding -aktiveringsfunksjoner brukes i stor utstrekning i pooling -lagene i konvolusjonelle nevrale nettverk og i output -lagene i multiklassifikasjonsnettverk. Disse aktiveringene utfører aggregering over inngangene, for eksempel å ta gjennomsnittet , minimum eller maksimum . I flerklasseklassifisering brukes softmax -aktiveringen ofte.

Sammenligning av aktiveringsfunksjoner

Det er mange aktiveringsfunksjoner. Hinton et al.s hovedartikkel fra 2012 om automatisk talegjenkjenning bruker en logistisk sigmoid aktiveringsfunksjon. Den banebrytende 2012 AlexNet datamaskinen visjon arkitektur bruker aktiveringsfunksjonen Relu, som gjorde banebrytende 2015 datamaskinen visjon arkitektur ResNet . Den sentrale 2018 -språkbehandlingsmodellen BERT bruker en jevn versjon av ReLU, GELU.

Bortsett fra den empiriske ytelsen, har aktiveringsfunksjoner også forskjellige matematiske egenskaper:

Ikke-lineær: Når aktiveringsfunksjonen er ikke-lineær, kan et to-lags neuralt nettverk bevises å være en universell funksjonstilnærmer. Dette er kjent som Universal Approximation Theorem . Identitetsaktiveringsfunksjonen tilfredsstiller ikke denne egenskapen. Når flere lag bruker identitetsaktiveringsfunksjonen, tilsvarer hele nettverket en enkeltlagsmodell.
Område: Når rekkevidden til aktiveringsfunksjonen er begrenset, har gradientbaserte treningsmetoder en tendens til å være mer stabile, fordi mønsterpresentasjoner betydelig påvirker bare begrensede vekter. Når rekkevidden er uendelig, er trening generelt mer effektiv fordi mønsterpresentasjoner betydelig påvirker de fleste vektene. I sistnevnte tilfelle er vanligvis mindre læringshastigheter nødvendig.
Kontinuerlig differensierbar: Denne egenskapen er ønskelig ( ReLU er ikke kontinuerlig differensierbar og har noen problemer med gradientbasert optimalisering, men det er fortsatt mulig) for å muliggjøre gradientbaserte optimaliseringsmetoder. Den binære trinnaktiveringsfunksjonen er ikke differensierbar ved 0, og den differensierer til 0 for alle andre verdier, så gradientbaserte metoder kan ikke gjøre fremskritt med den.

Tegn ekvivalens til identitetsfunksjon

To virkelige verdifunksjoner f og g sies å være tegnekvivalente hvis for alle verdier av z i domenet. Hvor tegn er signum -funksjonen. Aktiveringsfunksjoner som tanh, Leaky ReLU, GELU, ELU, Swish og Mish er tegnekvivalente med identitetsfunksjonen og kan ikke lære XOR -funksjonen med et enkelt nevron. Utgangen til et enkelt nevron eller dets aktivering er , hvor g er aktiveringsfunksjonen. Beslutningsgrensen for et enkelt nevron er settet med punkter som fremkaller en utgang på null. Således er beslutningsgrensen for et nevron som bruker noen av aktiveringsfunksjonene som er ekvivalent med identitetsfunksjonen, et enkelt hyperplan. Oscillerende aktiveringsfunksjoner kan imidlertid ha mange nuller, og derfor kan et enkelt nevron ha flere hyperplan som en del av beslutningsgrensen. Selv om flerlagsnettverk er nødvendig for å oppnå ikke -lineære beslutningsgrenser, tillater bruk av oscillerende aktiveringsfunksjoner at selv enkeltneuroner kan vise ikke -lineære beslutningsgrenser. ${\ displaystyle sign (f (z)) = sign (g (z))}$ ${\ displaystyle a = g (z) = g ({\ boldsymbol {w}}^{T} {\ boldsymbol {x}}+b)}$

Disse egenskapene påvirker ikke avgjørende ytelse, og de er heller ikke de eneste matematiske egenskapene som kan være nyttige. For eksempel gjør det strengt positive området til softplus det egnet for å forutsi avvik i variasjonelle autoencoders .

Tabell over aktiveringsfunksjoner

Tabellen nedenfor sammenligner egenskapene til flere aktiveringsfunksjoner som er funksjoner for en fold $x$ fra det eller de forrige lagene:

Navn	Funksjon, ${\ displaystyle f (x)}$	Avledet av , ${\ displaystyle f}$ ${\ displaystyle f '(x)}$	Område	Kontinuitetsrekkefølge
Identitet	${\ displaystyle x}$	${\ displaystyle 1}$	${\ displaystyle (-\ infty, \ infty)}$	${\ displaystyle C^{\ infty}}$
Binært trinn	${\ displaystyle {\ start {cases} 0 & {\ text {if}} x <0 \\ 1 & {\ text {if}} x \ geq 0 \ end {cases}}}$	${\ displaystyle {\ begin {cases} 0 & {\ text {if}} x \ neq 0 \\ {\ text {undefined}} & {\ text {if}} x = 0 \ end {cases}}}$	${\ displaystyle \ {0,1 \}}$	${\ displaystyle C^{-1}}$
Logistisk , sigmoid eller mykt trinn	${\ displaystyle \ sigma (x) = {\ frac {1} {1+e^{-x}}}}$	${\ displaystyle f (x) (1-f (x))}$	${\ displaystyle (0,1)}$	${\ displaystyle C^{\ infty}}$
Hyperbolisk tangent ( tanh )	${\ displaystyle \ tanh (x) = {\ frac {e^{x} -e^{-x}} {e^{x}+e^{-x}}}}$	${\ displaystyle 1-f (x)^{2}}$	${\ displaystyle (-1,1)}$	${\ displaystyle C^{\ infty}}$
Rektifisert lineær enhet (ReLU)	${\ displaystyle {\ begin {align} & {\ begin {cases} 0 & {\ text {if}} x \ leq 0 \\ x & {\ text {if}} x> 0 \ end {cases}} \\ { } = {} & \ max \ {0, x \} = x {\ textbf {1}} _ {x> 0} \ end {justert}}}$	${\ displaystyle {\ begin {cases} 0 & {\ text {if}} x <0 \\ 1 & {\ text {if}} x> 0 \\ {\ text {undefined}} og {\ text {if}} x = 0 \ end {cases}}}$	${\ displaystyle [0, \ infty)}$	${\ displaystyle C^{0}}$
Gaussisk feil lineær enhet (GELU)	${\ displaystyle {\ begin {align} & {\ frac {1} {2}} x \ left (1+{\ text {erf}} \ left ({\ frac {x} {\ sqrt {2}}} \ right) \ right) \\ {} = {} & x \ Phi (x) \ end {align}}}$	${\ displaystyle \ Phi (x)+x \ phi (x)}$	${\ displaystyle (-0,17 \ ldots, \ infty)}$	${\ displaystyle C^{\ infty}}$
Softplus	${\ displaystyle \ ln \ venstre (1+e^{x} \ høyre)}$	${\ displaystyle {\ frac {1} {1+e^{-x}}}}$	${\ displaystyle (0, \ infty)}$	${\ displaystyle C^{\ infty}}$
Eksponentiell lineær enhet (ELU)	${\ displaystyle {\ start {cases} \ alpha \ left (e^{x} -1 \ right) & {\ text {if}} x \ leq 0 \\ x & {\ text {if}} x> 0 \ avslutte {saker}}}$ med parameter ${\ displaystyle \ alpha}$	${\ displaystyle {\ start {cases} \ alpha e^{x} & {\ text {if}} x <0 \\ 1 & {\ text {if}} x> 0 \\ 1 & {\ text {if}} x = 0 {\ text {og}} \ alpha = 1 \ end {cases}}}$	${\ displaystyle (-\ alfa, \ infty)}$	${\ displaystyle {\ begin {cases} C^{1} og {\ text {if}} \ alpha = 1 \\ C^{0} & {\ text {ellers}} \ end {cases}}}$
Skalert eksponentiell lineær enhet (SELU)	${\ displaystyle \ lambda {\ begin {cases} \ alpha (e^{x} -1) & {\ text {if}} x <0 \\ x & {\ text {if}} x \ geq 0 \ end { saker}}}$ med parametere og ${\ displaystyle \ lambda = 1.0507}$ ${\ displaystyle \ alpha = 1.67326}$	${\ displaystyle \ lambda {\ begin {cases} \ alpha e^{x} & {\ text {if}} x <0 \\ 1 & {\ text {if}} x \ geq 0 \ end {cases}}}$	${\ displaystyle (-\ lambda \ alpha, \ infty)}$	${\ displaystyle C^{0}}$
Leaky rectified linear unit (Leaky ReLU)	${\ displaystyle {\ begin {cases} 0.01x & {\ text {if}} x <0 \\ x & {\ text {if}} x \ geq 0 \ end {cases}}}$	${\ displaystyle {\ begin {cases} 0.01 & {\ text {if}} x <0 \\ 1 & {\ text {if}} x \ geq 0 \ end {cases}}}$	${\ displaystyle (-\ infty, \ infty)}$	${\ displaystyle C^{0}}$
Parameterisk utbedret lineær enhet (PReLU)	${\ displaystyle {\ start {cases} \ alpha x & {\ text {if}} x <0 \\ x & {\ text {if}} x \ geq 0 \ end {cases}}}$ med parameter ${\ displaystyle \ alpha}$	${\ displaystyle {\ start {cases} \ alpha & {\ text {if}} x <0 \\ 1 & {\ text {if}} x \ geq 0 \ end {cases}}}$	${\ displaystyle (-\ infty, \ infty)}$	${\ displaystyle C^{0}}$
Sigmoid lineær enhet (SiLU, Sigmoid shrinkage, SiL eller Swish-‍1)	${\ displaystyle {\ frac {x} {1+e^{-x}}}}$	${\ displaystyle {\ frac {1+e^{-x}+xe^{-x}} {\ venstre (1+e^{-x} \ høyre)^{2}}}}$	${\ displaystyle [-0.278 \ ldots, \ infty)}$	${\ displaystyle C^{\ infty}}$
Mish	${\ displaystyle x \ tanh (\ ln (1+e^{x}))}$	${\ displaystyle {\ frac {(e^{x} (4e^{2x}+e^{3x} +4 (1+x)+e^{x} (6+4x)))} {(2+ 2e^{x}+e^{2x})^{2}}}}$	${\ displaystyle [-0.308 \ ldots, \ infty)}$	${\ displaystyle C^{\ infty}}$
Gaussisk	${\ displaystyle e^{-x^{2}}}$	${\ displaystyle -2xe^{ -x^{2}}}$	${\ displaystyle (0,1]}$	${\ displaystyle C^{\ infty}}$

Tabellen nedenfor viser aktiveringsfunksjoner som ikke er funksjoner for en enkelt fold $x$ fra forrige lag eller lag:

Navn	Ligning, ${\ displaystyle f_ {i} \ venstre ({\ vec {x}} \ høyre)}$	Derivater , ${\ displaystyle {\ frac {\ partiell f_ {i} \ venstre ({\ vec {x}} \ høyre)} {\ delvis x_ {j}}}}$	Område	Kontinuitetsrekkefølge
Softmax	${\ displaystyle {\ frac {e^{x_ {i}}} {\ sum _ {j = 1}^{J} e^{x_ {j}}}}}}$ for $i$ = 1,…, $J$	${\ displaystyle f_ {i} \ left ({\ vec {x}} \ right) \ left (\ delta _ {ij} -f_ {j} \ left ({\ vec {x}} \ right) \ right) }$	${\ displaystyle (0,1)}$	${\ displaystyle C^{\ infty}}$
Maksimere	${\ displaystyle \ max _ {i} x_ {i}}$	${\ displaystyle {\ begin {cases} 1 & {\ text {if}} j = {\ underset {i} {\ operatorname {argmax}}} \, x_ {i} \\ 0 & {\ text {if}} j \ neq {\ undersett {i} {\ operatorname {argmax}}} \, x_ {i} \ end {cases}}}$	${\ displaystyle (-\ infty, \ infty)}$	${\ displaystyle C^{0}}$

^ HererKronecker -deltaet.

{\ displaystyle \ delta _ {ij}}

^ For eksempelkan det gjenta gjennom antall kjerner i det forrige nevrale nettverkslaget mens det gjentar gjennomantall kjerner i det nåværende laget.

{\ displaystyle j}

{\ displaystyle i}

Languages

In other projects