Cuantizarea vectorului de învățare - Learning vector quantization

În informatică , cuantificarea vectorului de învățare ( LVQ ), este un algoritm de clasificare supravegheat bazat pe prototip . LVQ este omologul supravegheat al sistemelor de cuantificare vectorială .

Prezentare generală

LVQ poate fi înțeles ca un caz special al unei rețele neuronale artificiale , mai precis, aplică o abordare bazată pe învățarea Hebbiană a câștigătorului . Este un precursor al hărților de auto-organizare (SOM) și în legătură cu gazele neuronale și cu algoritmul k-cel mai apropiat vecin (k-NN). LVQ a fost inventat de Teuvo Kohonen .

Un sistem LVQ este reprezentat de prototipuri care sunt definite în spațiul caracteristic al datelor observate. În algoritmii de antrenament câștigători, se determină, pentru fiecare punct de date, prototipul care este cel mai apropiat de intrare în conformitate cu o măsură dată a distanței. Poziția acestui așa-numit prototip câștigător este apoi adaptată, adică câștigătorul este apropiat dacă clasifică corect punctul de date sau se îndepărtează dacă clasifică incorect punctul de date. ${\ displaystyle W = (w (i), ..., w (n))}$

Un avantaj al LVQ este că creează prototipuri ușor de interpretat pentru experții din domeniul aplicației respective. Sistemele LVQ pot fi aplicate problemelor de clasificare multi-clasă într-un mod natural. Este utilizat într-o varietate de aplicații practice. A se vedea „Bibliografia pe harta auto-organizatoare (SOM) și Learning Vector Quantization (LVQ) ”.

O problemă cheie în LVQ este alegerea unei măsuri adecvate de distanță sau similaritate pentru antrenament și clasificare. Recent, au fost dezvoltate tehnici care adaptează o măsurătoare a distanței parametrizate în cursul antrenamentului sistemului, a se vedea, de exemplu (Schneider, Biehl și Hammer, 2009) și referințele din acesta.

LVQ poate fi o sursă de mare ajutor în clasificarea documentelor text.

Algoritm

Mai jos urmează o descriere informală.
Algoritmul constă din trei pași de bază. Intrarea algoritmului este:

câți neuroni va avea sistemul (în cel mai simplu caz este egal cu numărul de clase) ${\ displaystyle M}$
ce greutate are fiecare neuron pentru ${\ displaystyle {\ vec {w_ {i}}}}$ ${\ displaystyle i = 0,1, ..., M-1}$
eticheta corespunzătoare fiecărui neuron ${\ displaystyle c_ {i}}$ ${\ displaystyle {\ vec {w_ {i}}}}$
cât de repede învață neuronii ${\ displaystyle \ eta}$
și o listă de intrare care conține toți vectorii despre care etichetele sunt deja cunoscute (set de antrenament). ${\ displaystyle L}$

Fluxul algoritmului este:

Pentru următoarea intrare (cu etichetă ), găsiți cel mai apropiat neuron , adică unde este metrica utilizată ( euclidiană etc.). ${\ displaystyle {\ vec {x}}}$ ${\ displaystyle y}$ ${\ displaystyle L}$ ${\ displaystyle {\ vec {w_ {m}}}}$
${\ displaystyle d ({\ vec {x}}, {\ vec {w_ {m}}}) = \ min \ limits _ {i} {d ({\ vec {x}}, {\ vec {w_ { i}}})}}$ ${\ displaystyle \, d}$
Actualizare . O explicație mai bună este apropierea de intrare , dacă și aparțin aceleiași etichete și distanțarea lor, dacă nu. dacă (mai aproape) sau dacă (mai departe). ${\ displaystyle {\ vec {w_ {m}}}}$ ${\ displaystyle {\ vec {w_ {m}}}}$ ${\ displaystyle {\ vec {x}}}$ ${\ displaystyle {\ vec {x}}}$ ${\ displaystyle {\ vec {w_ {m}}}}$
${\ displaystyle {\ vec {w_ {m}}} \ gets {\ vec {w_ {m}}} + \ eta \ cdot \ left ({\ vec {x}} - {\ vec {w_ {m}} }\dreapta)}$ ${\ displaystyle c_ {m} = y}$
${\ displaystyle {\ vec {w_ {m}}} \ gets {\ vec {w_ {m}}} - \ eta \ cdot \ left ({\ vec {x}} - {\ vec {w_ {m}} }\dreapta)}$ ${\ displaystyle c_ {m} \ neq y}$
În timp ce rămân vectori în continuare, treceți la pasul 1, altfel terminați. ${\ displaystyle L}$

Notă: și sunt vectori în spațiul de caracteristici. O descriere mai formală poate fi găsită aici: http://jsalatas.ictpro.gr/implementation-of-competitive-learning-networks-for-weka/ ${\ displaystyle {\ vec {w_ {i}}}}$ ${\ displaystyle {\ vec {x}}}$

Referințe

^ T. Kohonen. Hărți auto-organizate. Springer, Berlin, 1997.
^ T. Kohonen (1995), "Learning vector quantization", în MA Arbib (ed.), The Handbook of Brain Theory and Neural Networks , Cambridge, MA: MIT Press, pp. 537-540
^ P. Schneider, B. Hammer și M. Biehl (2009). „Matrici de relevanță adaptive în învățarea cuantificării vectoriale”. Calculul neuronal . 21 (10): 3532–3561. CiteSeerX 10.1.1.216.1183 . doi : 10.1162 / neco.2009.10-08-892 . PMID 19635012 . S2CID 17306078 . CS1 maint: folosește parametrul autorilor ( link )

Lecturi suplimentare

Hărți auto-organizate și cuantizare vectorială de învățare pentru secvențe de caracteristici, Somervuo și Kohonen. 2004 (pdf)

linkuri externe

LVQ pentru WEKA : Implementarea variantelor LVQ (LVQ1, OLVQ1, LVQ2.1, LVQ3, OLVQ3) pentru bancul de lucru WEKA Machine Learning.
Lansare oficială lvq_pak (1996) de Kohonen și echipa sa
LVQ pentru WEKA : O altă implementare a LVQ în Java pentru WEKA Machine Learning Workbench.
Cutie de instrumente GMLVQ : o implementare ușor de utilizat a Matricii generalizate LVQ (învățarea relevanței matricei) în (c) matlab

[1] T. Kohonen. Hărți auto-organizate. Springer, Berlin, 1997.

[2] T. Kohonen (1995), "Learning vector quantization", în MA Arbib (ed.), The Handbook of Brain Theory and Neural Networks , Cambridge, MA: MIT Press, pp. 537-540

[3] P. Schneider, B. Hammer și M. Biehl (2009). „Matrici de relevanță adaptive în învățarea cuantificării vectoriale”. Calculul neuronal . 21 (10): 3532–3561. CiteSeerX 10.1.1.216.1183 . doi : 10.1162 / neco.2009.10-08-892 . PMID 19635012 . S2CID 17306078 . CS1 maint: folosește parametrul autorilor ( link )

Languages

In other projects