Nauka kwantyzacji wektorów - Learning vector quantization

W informatyce , nauka kwantyzacji wektorowej ( LVQ ) jest prototyp oparty na nadzorowana klasyfikacja algorytm . LVQ jest nadzorowanym odpowiednikiem systemów kwantyzacji wektorowej .

Przegląd

LVQ można rozumieć jako szczególny przypadek sztucznej sieci neuronowej , a dokładniej, stosuje metodę hebrajskiego uczenia się typu zwycięzca bierze wszystko . Jest prekursorem map samoorganizujących się (SOM) i związanych z gazem neuronowym oraz algorytmem k-najbliższego sąsiada (k-NN). LVQ został wymyślony przez Teuvo Kohonena .

System LVQ jest reprezentowany przez prototypy, które są definiowane w przestrzeni cech obserwowanych danych. W algorytmach szkoleniowych typu zwycięzca bierze wszystko, dla każdego punktu danych określa się prototyp, który jest najbliższy wejściu na podstawie danej miary odległości. Pozycja tego tak zwanego prototypu zwycięzcy jest następnie dostosowywana, tj. Zwycięzca jest przesuwany bliżej, jeśli prawidłowo klasyfikuje punkt danych, lub odsuwany, jeśli klasyfikuje punkt danych nieprawidłowo. ${\ Displaystyle W = (w (i), ..., w (n))}$

Zaletą LVQ jest to, że tworzy prototypy, które są łatwe do interpretacji dla ekspertów w danej dziedzinie aplikacji. Systemy LVQ można w naturalny sposób zastosować do wieloklasowych problemów klasyfikacyjnych. Jest używany w wielu praktycznych zastosowaniach. Zobacz „Bibliography on the Self-Organizing Map (SOM) and Learning Vector Quantization (LVQ) ”.

Kluczową kwestią w LVQ jest wybór odpowiedniej miary odległości lub podobieństwa do treningu i klasyfikacji. Ostatnio opracowano techniki, które dostosowują sparametryzowaną miarę odległości w trakcie szkolenia systemu, patrz np. (Schneider, Biehl, and Hammer, 2009) i zawarte tam odniesienia.

LVQ może być bardzo pomocne w klasyfikowaniu dokumentów tekstowych.

Algorytm

Poniżej znajduje się nieformalny opis.
Algorytm składa się z trzech podstawowych kroków. Dane wejściowe algorytmu to:

ile neuronów będzie miał system (w najprostszym przypadku jest to liczba klas) ${\ displaystyle M}$
co waga każdy neuron ma dla ${\ displaystyle {\ vec {w_ {i}}}}$ ${\ Displaystyle i = 0,1, ..., M-1}$
odpowiednią etykietę każdemu neuronowi ${\ displaystyle c_ {i}}$ ${\ displaystyle {\ vec {w_ {i}}}}$
jak szybko neurony się uczą ${\ displaystyle \ eta}$
oraz listę wejściową zawierającą wszystkie wektory, których etykiety są już znane (zbiór uczący). ${\ displaystyle L}$

Przepływ algorytmu to:

Dla następnego wejścia (z etykietą ) znajdź najbliższy neuron , tj. Gdzie jest użyta metryka ( euklidesowa itp.). ${\ displaystyle {\ vec {x}}}$ ${\ displaystyle y}$ ${\ displaystyle L}$ ${\ displaystyle {\ vec {w_ {m}}}}$
${\ Displaystyle d ({\ vec {x}}, {\ vec {w_ {m}}}) = \ min \ ograniczenia _ {i} {d ({\ vec {x}}, {\ vec {w_ { ja}}})}}$ ${\ displaystyle \, d}$
Aktualizuj . Lepszym wyjaśnieniem jest zbliżenie się do wejścia , jeśli i przynależność do tej samej etykiety i rozdzielenie ich dalej, jeśli nie. jeśli (bliżej siebie) lub jeśli (dalej od siebie). ${\ displaystyle {\ vec {w_ {m}}}}$ ${\ displaystyle {\ vec {w_ {m}}}}$ ${\ displaystyle {\ vec {x}}}$ ${\ displaystyle {\ vec {x}}}$ ${\ displaystyle {\ vec {w_ {m}}}}$
${\ displaystyle {\ vec {w_ {m}}} \ pobiera {\ vec {w_ {m}}} + \ eta \ cdot \ left ({\ vec {x}} - {\ vec {w_ {m}} }\dobrze)}$ ${\ displaystyle c_ {m} = y}$
${\ displaystyle {\ vec {w_ {m}}} \ pobiera {\ vec {w_ {m}}} - \ eta \ cdot \ lewo ({\ vec {x}} - {\ vec {w_ {m}} }\dobrze)}$ ${\ displaystyle c_ {m.} \ neq y}$
Gdy pozostały wektory, przejdź do kroku 1, w przeciwnym razie zakończ. ${\ displaystyle L}$

Uwaga: i są wektorami w przestrzeni cech. Bardziej formalny opis można znaleźć tutaj: http://jsalatas.ictpro.gr/implementation-of-competitive-learning-networks-for-weka/ ${\ displaystyle {\ vec {w_ {i}}}}$ ${\ displaystyle {\ vec {x}}}$

Bibliografia

^ T. Kohonen. Mapy samoorganizujące się. Springer, Berlin, 1997.
^ T. Kohonen (1995), „Learning vector quantization”, w: MA Arbib (red.), The Handbook of Brain Theory and Neural Networks , Cambridge, MA: MIT Press, str. 537–540
^ P. Schneider, B. Hammer i M. Biehl (2009). „Adaptacyjne macierze istotności w uczeniu się kwantyzacji wektorów”. Obliczenia neuronowe . 21 (10): 3532–3561. CiteSeerX 10.1.1.216.1183 . doi : 10.1162 / neco.2009.10-08-892 . PMID 19635012 . S2CID 17306078 . CS1 maint: używa parametru autorów ( link )

Dalsza lektura

Samoorganizujące się mapy i nauka kwantyzacji wektorów dla sekwencji cech, Somervuo i Kohonen. 2004 (pdf)

Linki zewnętrzne

LVQ for WEKA : Implementacja wariantów LVQ (LVQ1, OLVQ1, LVQ2.1, LVQ3, OLVQ3) dla środowiska WEKA Machine Learning Workbench.
Oficjalne wydanie lvq_pak (1996) autorstwa Kohonena i jego zespołu
LVQ dla WEKA : Kolejna implementacja LVQ w Javie dla WEKA Machine Learning Workbench.
Zestaw narzędzi GMLVQ : łatwa w użyciu implementacja Uogólnionej macierzy LVQ (uczenie się zgodności macierzy) w (c) Matlab

[1] T. Kohonen. Mapy samoorganizujące się. Springer, Berlin, 1997.

[2] T. Kohonen (1995), „Learning vector quantization”, w: MA Arbib (red.), The Handbook of Brain Theory and Neural Networks , Cambridge, MA: MIT Press, str. 537–540

[3] P. Schneider, B. Hammer i M. Biehl (2009). „Adaptacyjne macierze istotności w uczeniu się kwantyzacji wektorów”. Obliczenia neuronowe . 21 (10): 3532–3561. CiteSeerX 10.1.1.216.1183 . doi : 10.1162 / neco.2009.10-08-892 . PMID 19635012 . S2CID 17306078 . CS1 maint: używa parametru autorów ( link )

Languages

In other projects