Kernel delle funzioni a base radiale - Radial basis function kernel

Nell'apprendimento automatico , il kernel della funzione di base radiale , o kernel RBF , è una funzione del kernel popolare utilizzata in vari algoritmi di apprendimento kernelizzati . In particolare, è comunemente usato nella classificazione delle macchine a vettori di supporto .

Il kernel RBF su due campioni x e x ' , rappresentati come vettori di caratteristiche in uno spazio di input , è definito come

${\ Displaystyle K (\ mathbf {x}, \ mathbf {x '}) = \ exp \ left (- {\ frac {\ | \ mathbf {x} - \ mathbf {x'} \ | ^ {2}} {2 \ sigma ^ {2}}} \ right)}$

${\ displaystyle \ textstyle \ | \ mathbf {x} - \ mathbf {x '} \ | ^ {2}}$ può essere riconosciuta come la distanza euclidea al quadrato tra i due vettori di caratteristiche. è un parametro gratuito. Una definizione equivalente implica un parametro : ${\ displaystyle \ sigma}$${\ displaystyle \ textstyle \ gamma = {\ tfrac {1} {2 \ sigma ^ {2}}}}$

${\ displaystyle K (\ mathbf {x}, \ mathbf {x '}) = \ exp (- \ gamma \ | \ mathbf {x} - \ mathbf {x'} \ | ^ {2})}$

Poiché il valore del kernel RBF diminuisce con la distanza e varia tra zero (nel limite) e uno (quando x = x ' ), ha una pronta interpretazione come misura di somiglianza . Lo spazio delle caratteristiche del kernel ha un numero infinito di dimensioni; perché la sua espansione è: ${\ displaystyle \ sigma = 1}$

${\ displaystyle {\ begin {alignat} {2} \ exp \ left (- {\ frac {1} {2}} \ | \ mathbf {x} - \ mathbf {x '} \ | ^ {2} \ right ) & = \ exp ({\ frac {2} {2}} \ mathbf {x} ^ {\ top} \ mathbf {x '} - {\ frac {1} {2}} \ | \ mathbf {x} \ | ^ {2} - {\ frac {1} {2}} \ | \ mathbf {x '} \ | ^ {2}) \\ & = \ exp (\ mathbf {x} ^ {\ top} \ mathbf {x '}) \ exp (- {\ frac {1} {2}} \ | \ mathbf {x} \ | ^ {2}) \ exp (- {\ frac {1} {2}} \ | \ mathbf {x '} \ | ^ {2}) \\ & = \ sum _ {j = 0} ^ {\ infty} {\ frac {(\ mathbf {x} ^ {\ top} \ mathbf {x' }) ^ {j}} {j!}} \ exp \ left (- {\ frac {1} {2}} \ | \ mathbf {x} \ | ^ {2} \ right) \ exp \ left (- {\ frac {1} {2}} \ | \ mathbf {x '} \ | ^ {2} \ right) \\ & = \ sum _ {j = 0} ^ {\ infty} \ sum _ {\ sum n_ {i} = j} \ exp \ left (- {\ frac {1} {2}} \ | \ mathbf {x} \ | ^ {2} \ right) {\ frac {x_ {1} ^ {n_ {1}} \ cdots x_ {k} ^ {n_ {k}}} {\ sqrt {n_ {1}! \ Cdots n_ {k}!}}} \ Exp \ left (- {\ frac {1} { 2}} \ | \ mathbf {x '} \ | ^ {2} \ right) {\ frac {{x'} _ {1} ^ {n_ {1}} \ cdots {x '} _ {k} ^ {n_ {k}}} {\ sqrt {n_ {1}! \ cdots n_ {k}!}}} \ end {alignat}}}$

Approssimazioni

Poiché le macchine a vettori di supporto e altri modelli che impiegano il trucco del kernel non si adattano bene a un gran numero di campioni di addestramento o un gran numero di funzionalità nello spazio di input, sono state introdotte diverse approssimazioni al kernel RBF (e kernel simili). Tipicamente, questi assumono la forma di una funzione z che mappa un singolo vettore su un vettore di dimensionalità superiore, approssimando il kernel:

${\ Displaystyle \ langle z (\ mathbf {x}), z (\ mathbf {x '}) \ rangle \ approx \ langle \ varphi (\ mathbf {x}), \ varphi (\ mathbf {x'}) \ rangle = K (\ mathbf {x}, \ mathbf {x '})}$

dove è la mappatura implicita incorporata nel kernel RBF. ${\ displaystyle \ textstyle \ varphi}$

Un modo per costruire una tale z è campionare in modo casuale dalla trasformazione di Fourier del kernel. Un altro approccio utilizza il metodo Nyström per approssimare la decomposizione automatica della matrice Gram K , utilizzando solo un campione casuale dell'insieme di addestramento.

Guarda anche

• Funzione gaussiana
• Kernel (statistiche)
• Kernel polinomiale
• Funzione base radiale
• Rete di funzioni a base radiale
• Rete del kernel ostile

Riferimenti