Učící se vektorová kvantizace - Learning vector quantization

Ve vědě o počítačích , učení vektorovou kvantifikaci ( LVQ ), je prototyp-umístěný pod dohledem klasifikační algoritmus . LVQ je dohlíženým protějškem vektorových kvantovacích systémů.

Přehled

LVQ lze chápat jako zvláštní případ s umělé neuronové sítě , přesněji řečeno, že aplikuje vítěz bere vše hebbovských učení založené přístup. Je předchůdcem samoorganizujících se map (SOM) souvisejících s neurálním plynem a algoritmu k-nejbližšího souseda (k-NN). LVQ vynalezl Teuvo Kohonen .

Systém LVQ je reprezentován prototypy, které jsou definovány v prostoru funkcí pozorovaných dat. V tréninkových algoritmech win-take-all určuje jeden pro každý datový bod prototyp, který je nejblíže ke vstupu podle dané míry vzdálenosti. Pozice tohoto takzvaného prototypu výherce je poté upravena, tj. Výherce je posunut blíže, pokud správně klasifikuje datový bod, nebo odsunut, pokud klasifikuje datový bod nesprávně. ${\ displaystyle W = (w (i), ..., w (n))}$

Výhodou LVQ je, že vytváří prototypy, které lze snadno interpretovat odborníkům v příslušné doméně aplikace. Systémy LVQ lze přirozeným způsobem aplikovat na problémy klasifikace více tříd. Používá se v mnoha praktických aplikacích. Viz 'Bibliografie na samoorganizující se mapě (SOM) a Learning Vector Quantization (LVQ) '.

Klíčovou otázkou v LVQ je volba vhodné míry vzdálenosti nebo podobnosti pro výcvik a klasifikaci. Nedávno byly vyvinuty techniky, které přizpůsobují parametrizovanou míru vzdálenosti v průběhu tréninku systému, viz např. (Schneider, Biehl a Hammer, 2009) a odkazy v ní uvedené.

LVQ může být zdrojem velké pomoci při klasifikaci textových dokumentů.

Algoritmus

Níže následuje neformální popis.
Algoritmus se skládá ze tří základních kroků. Vstup algoritmu je:

kolik neuronů bude mít systém (v nejjednodušším případě se to rovná počtu tříd) ${\ displaystyle M}$
jakou váhu každý neuron má za ${\ displaystyle {\ vec {w_ {i}}}}$ ${\ displaystyle i = 0,1, ..., M-1}$
odpovídající štítek každému neuronu ${\ displaystyle c_ {i}}$ ${\ displaystyle {\ vec {w_ {i}}}}$
jak rychle se neurony učí ${\ displaystyle \ eta}$
a vstupní seznam obsahující všechny vektory, jejichž popisky jsou již známy (tréninková sada). ${\ displaystyle L}$

Tok algoritmu je:

Pro další vstup (se štítkem ) najděte nejbližší neuron , tj . Kde se používá metrika ( euklidovská atd.). ${\ displaystyle {\ vec {x}}}$ ${\ displaystyle y}$ ${\ displaystyle L}$ ${\ displaystyle {\ vec {w_ {m}}}}$
${\ displaystyle d ({\ vec {x}}, {\ vec {w_ {m}}}) = \ min \ limity _ {i} {d ({\ vec {x}}, {\ vec {w_ { i}}})}}$ ${\ displaystyle \, d}$
Aktualizovat . Lepším vysvětlením je přiblížit se vstupu , pokud a patří ke stejnému štítku, a dostat je dále od sebe, pokud tomu tak není. pokud (blíže k sobě) nebo pokud (dále od sebe). ${\ displaystyle {\ vec {w_ {m}}}}$ ${\ displaystyle {\ vec {w_ {m}}}}$ ${\ displaystyle {\ vec {x}}}$ ${\ displaystyle {\ vec {x}}}$ ${\ displaystyle {\ vec {w_ {m}}}}$
${\ displaystyle {\ vec {w_ {m}}} \ dostane {\ vec {w_ {m}}} + \ eta \ cdot \ left ({\ vec {x}} - {\ vec {w_ {m}} }\že jo)}$ ${\ displaystyle c_ {m} = y}$
${\ displaystyle {\ vec {w_ {m}}} \ dostane {\ vec {w_ {m}}} - \ eta \ cdot \ left ({\ vec {x}} - {\ vec {w_ {m}} }\že jo)}$ ${\ displaystyle c_ {m} \ neq y}$
Zatímco v kroku 1 zbývají vektory, v opačném případě ukončete. ${\ displaystyle L}$

Poznámka: a jsou vektory v prostoru funkcí. Formálnější popis naleznete zde: http://jsalatas.ictpro.gr/implementation-of-competitive-learning-networks-for-weka/ ${\ displaystyle {\ vec {w_ {i}}}}$ ${\ displaystyle {\ vec {x}}}$

Reference

^ T. Kohonen. Samoorganizující se mapy. Springer, Berlín, 1997.
^ T. Kohonen (1995), „Learning vector quantization“, v MA Arbib (ed.), The Handbook of Brain Theory and Neural Networks , Cambridge, MA: MIT Press, str. 537–540
^ P. Schneider, B. Hammer a M. Biehl (2009). "Adaptivní matice relevance ve výuce kvantifikace vektorů". Neurální výpočet . 21 (10): 3532–3561. CiteSeerX 10.1.1.216.1183 . doi : 10.1162 / neco.2009.10-08-892 . PMID 19635012 . S2CID 17306078 .CS1 maint: používá parametr autorů ( odkaz )

Další čtení

Samoorganizující se mapy a kvantifikace vektorů učení pro sekvence prvků, Somervuo a Kohonen. 2004 (pdf)

externí odkazy

LVQ pro WEKA : Implementace variant LVQ (LVQ1, OLVQ1, LVQ2.1, LVQ3, OLVQ3) pro WEKA Machine Learning Workbench.
oficiální vydání lvq_pak (1996) od Kohonena a jeho týmu
LVQ pro WEKA : Další implementace LVQ v Javě pro WEKA Machine Learning Workbench.
Sada nástrojů GMLVQ : Snadno použitelná implementace Generalized Matrix LVQ (matrix relevance learning) v (c) matlabu

[1] T. Kohonen. Samoorganizující se mapy. Springer, Berlín, 1997.

[2] T. Kohonen (1995), „Learning vector quantization“, v MA Arbib (ed.), The Handbook of Brain Theory and Neural Networks , Cambridge, MA: MIT Press, str. 537–540

[3] P. Schneider, B. Hammer a M. Biehl (2009). "Adaptivní matice relevance ve výuce kvantifikace vektorů". Neurální výpočet . 21 (10): 3532–3561. CiteSeerX 10.1.1.216.1183 . doi : 10.1162 / neco.2009.10-08-892 . PMID 19635012 . S2CID 17306078 .CS1 maint: používá parametr autorů ( odkaz )

Languages

In other projects