Radial basisfunktionskerne - Radial basis function kernel

I maskinindlæring er kernen til radial basisfunktion eller RBF-kerne en populær kernefunktion, der bruges i forskellige kerneliserede indlæringsalgoritmer. Især bruges det almindeligt til klassificering af understøttelsesvektormaskiner .

RBF-kernen på to prøver x og x ' , repræsenteret som funktionsvektorer i noget inputrum , er defineret som

${\ displaystyle K (\ mathbf {x}, \ mathbf {x '}) = \ exp \ left (- {\ frac {\ | \ mathbf {x} - \ mathbf {x'} \ | ^ {2}} {2 \ sigma ^ {2}}} \ højre)}$

${\ displaystyle \ textstyle \ | \ mathbf {x} - \ mathbf {x '} \ | ^ {2}}$ kan genkendes som den kvadratiske euklidiske afstand mellem de to funktionsvektorer. er en gratis parameter. En ækvivalent definition involverer en parameter : ${\ displaystyle \ sigma}$${\ displaystyle \ textstyle \ gamma = {\ tfrac {1} {2 \ sigma ^ {2}}}}$

${\ displaystyle K (\ mathbf {x}, \ mathbf {x '}) = \ exp (- \ gamma \ | \ mathbf {x} - \ mathbf {x'} \ | ^ {2})}$

Da værdien af ​​RBF-kernen falder med afstanden og varierer mellem nul (i grænsen) og en (når x = x ' ), har den en klar fortolkning som et lighedsmål . Kernens funktionsrum har et uendeligt antal dimensioner; for dens udvidelse er: ${\ displaystyle \ sigma = 1}$

${\ displaystyle {\ begin {alignat} {2} \ exp \ left (- {\ frac {1} {2}} \ | \ mathbf {x} - \ mathbf {x '} \ | ^ {2} \ right ) & = \ exp ({\ frac {2} {2}} \ mathbf {x} ^ {\ top} \ mathbf {x '} - {\ frac {1} {2}} \ | \ mathbf {x} \ | ^ {2} - {\ frac {1} {2}} \ | \ mathbf {x '} \ | ^ {2}) \\ & = \ exp (\ mathbf {x} ^ {\ top} \ mathbf {x '}) \ exp (- {\ frac {1} {2}} \ | \ mathbf {x} \ | ^ {2}) \ exp (- {\ frac {1} {2}} \ | \ mathbf {x '} \ | ^ {2}) \\ & = \ sum _ {j = 0} ^ {\ infty} {\ frac {(\ mathbf {x} ^ {\ top} \ mathbf {x' }) ^ {j}} {j!}} \ exp \ left (- {\ frac {1} {2}} \ | \ mathbf {x} \ | ^ {2} \ right) \ exp \ left (- {\ frac {1} {2}} \ | \ mathbf {x '} \ | ^ {2} \ right) \\ & = \ sum _ {j = 0} ^ {\ infty} \ sum _ {\ sum n_ {i} = j} \ exp \ left (- {\ frac {1} {2}} \ | \ mathbf {x} \ | ^ {2} \ right) {\ frac {x_ {1} ^ {n_ {1}} \ cdots x_ {k} ^ {n_ {k}}} {\ sqrt {n_ {1}! \ Cdots n_ {k}!}}} \ Exp \ left (- {\ frac {1} { 2}} \ | \ mathbf {x '} \ | ^ {2} \ right) {\ frac {{x'} _ {1} ^ {n_ {1}} \ cdots {x '} _ {k} ^ {n_ {k}}} {\ sqrt {n_ {1}! \ cdots n_ {k}!}}} \ end {alignat}}}$

Tilnærmelser

Fordi supportvektormaskiner og andre modeller, der anvender kernetricket , ikke skaleres godt til et stort antal træningseksempler eller et stort antal funktioner i inputrummet, er der blevet introduceret flere tilnærmelser til RBF-kernen (og lignende kerner). Disse tager typisk form af en funktion z, der kortlægger en enkelt vektor til en vektor med højere dimensionalitet, hvilket er tilnærmelsesvis kernen:

${\ displaystyle \ langle z (\ mathbf {x}), z (\ mathbf {x '}) \ rangle \ approx \ langle \ varphi (\ mathbf {x}), \ varphi (\ mathbf {x'})) \ rangle = K (\ mathbf {x}, \ mathbf {x '})}$

hvor er den implicitte kortlægning indlejret i RBF-kernen. ${\ displaystyle \ textstyle \ varphi}$

En måde at konstruere en sådan z på er at tilfældigt prøve fra Fourier-transformation af kernen. En anden tilgang bruger Nyström-metoden til at tilnærme den egentlige sammensætning af Gram-matrix K ved kun at bruge en tilfældig prøve af træningssættet.

Se også

• Gaussisk funktion
• Kerne (statistik)
• Polynom kerne
• Radial basisfunktion
• Radial basis funktionsnetværk
• Obst Kernel-netværk

Referencer