Opi vektorikvantisointia - Learning vector quantization

Vuonna tietojenkäsittelytiede , oppiminen vektorikvantisointi ( LVQ ), on prototyyppi-pohjainen valvottu luokitus algoritmi . LVQ on vektorikvantisointijärjestelmien valvottu vastine .

Yleiskatsaus

LVQ voidaan ymmärtää keinotekoisen hermoverkon erityistapauksena , tarkemmin sanottuna se soveltaa voittaja-ota-kaikki- Hebbian-oppimiseen perustuvaa lähestymistapaa. Se on edeltäjä itseorganisoituville kartoille (SOM), jotka liittyvät hermokaasuun , ja k-lähimmän naapurin algoritmiin (k-NN). LVQ: n keksi Teuvo Kohonen .

LVQ järjestelmä edustaa prototyyppejä , jotka on määritelty ominaisuus tilaan havaittujen tietojen. Voittaja-kaikki-harjoitusalgoritmeissa määritetään jokaiselle datapisteelle prototyyppi, joka on lähimpänä syötettä tietyn etäisyysmitan mukaan. Tämän nk. Voittajaprototyypin sijainti mukautetaan sitten, eli voittaja siirretään lähemmäksi, jos se luokittelee datapisteen oikein, tai siirretään pois, jos se luokittelee datapisteen väärin. ${\ displaystyle W = (w (i), ..., w (n))}$

LVQ: n etuna on, että se luo prototyyppejä, jotka on helppo tulkita kyseisen sovellusalueen asiantuntijoille. LVQ-järjestelmiä voidaan soveltaa moniluokkaisiin luokitteluongelmiin luonnollisella tavalla. Sitä käytetään monissa käytännön sovelluksissa. Katso 'Bibliografia itseorganisoituvasta kartasta (SOM) ja oppimisen vektorikvantisoinnista (LVQ) '.

Keskeinen kysymys LVQ: ssa on sopivan etäisyyden tai samankaltaisuuden valitseminen koulutusta ja luokitusta varten. Viime aikoina on kehitetty tekniikoita, jotka mukauttavat parametrisoidun etäisyysmittauksen järjestelmän harjoittamisen aikana, katso esim. (Schneider, Biehl ja Hammer, 2009) ja viitteet niihin.

LVQ voi olla paljon apua tekstidokumenttien luokittelussa.

Algoritmi

Alla on epävirallinen kuvaus.
Algoritmi koostuu kolmesta perusvaiheesta. Algoritmin syöttö on:

kuinka monta neuronia järjestelmällä on (yksinkertaisimmassa tapauksessa se on yhtä suuri kuin luokkien lukumäärä) ${\ displaystyle M}$
mitä paino kukin neuroni on varten ${\ displaystyle {\ vec {w_ {i}}}}$ ${\ displaystyle i = 0,1, ..., M-1}$
vastaava leima jokaiselle neuronille ${\ displaystyle c_ {i}}$ ${\ displaystyle {\ vec {w_ {i}}}}$
kuinka nopeasti neuronit oppivat ${\ displaystyle \ eta}$
ja syöttöluettelon, joka sisältää kaikki vektorit, joiden tunnisteet ovat jo tunnettuja (harjoitusjoukko). ${\ displaystyle L}$

Algoritmin virtaus on:

Seuraavan syötteen (etiketti ) avulla löydät lähimmän hermosolun , ts . Missä on käytetty metriikka ( euklidinen jne.). ${\ displaystyle {\ vec {x}}}$ ${\ displaystyle y}$ ${\ displaystyle L}$ ${\ displaystyle {\ vec {w_ {m}}}}$
${\ displaystyle d ({\ vec {x}}, {\ vec {w_ {m}}}) = \ min \ rajoitukset _ {i} {d ({\ vec {x}}, {\ vec {w_ { i}}})}}$ ${\ displaystyle \, d}$
Päivitä . Parempi selitys on päästä lähemmäksi syötettä , jos ja kuuluvat samaan tarraan ja saada ne kauemmas toisistaan, jos he eivät. jos (lähempänä toisiaan) tai jos (kauempana toisistaan). ${\ displaystyle {\ vec {w_ {m}}}}$ ${\ displaystyle {\ vec {w_ {m}}}}$ ${\ displaystyle {\ vec {x}}}$ ${\ displaystyle {\ vec {x}}}$ ${\ displaystyle {\ vec {w_ {m}}}}$
${\ displaystyle {\ vec {w_ {m}}} \ saa {\ vec {w_ {m}}} + \ eta \ cdot \ vasemmalle ({\ vec {x}} - {\ vec {w_ {m}} } \ oikea)}$ ${\ displaystyle c_ {m} = y}$
${\ displaystyle {\ vec {w_ {m}}} \ saa {\ vec {w_ {m}}} - \ eta \ cdot \ vasemmalle ({\ vec {x}} - {\ vec {w_ {m}} } \ oikea)}$ ${\ displaystyle c_ {m} \ neq y}$
Vaikka vektoreita on jäljellä, siirry vaiheeseen 1, muuten lopeta. ${\ displaystyle L}$

Huomaa: ja ovat vektorit ominaisuusavaruudessa. Virallisempi kuvaus löytyy täältä: http://jsalatas.ictpro.gr/implementation-of-competitive-learning-networks-for-weka/ ${\ displaystyle {\ vec {w_ {i}}}}$ ${\ displaystyle {\ vec {x}}}$

Viitteet

^ T. Kohonen. Itseorganisoituvat kartat. Springer, Berliini, 1997.
^ T. Kohonen (1995), "Learning vector quantization", julkaisussa MA Arbib (toim.), The Handbook of Brain Theory and Neural Networks , Cambridge, MA: MIT Press, s. 537–540
^ P. Schneider, B. Hammer ja M. Biehl (2009). "Adaptive Relevance Matricices in Learning Vector Quantization". Neuraalilaskenta . 21 (10): 3532–3561. CiteSeerX 10.1.1.216.1183 . doi : 10.1162 / neco.2009.10-08-892 . PMID 19635012 . S2CID 17306078 . CS1 maint: käyttää tekijän parametria ( linkki )

Lisälukemista

Itseorganisoituvat kartat ja oppimisen vektorikvantisointi ominaisuusjaksoille, Somervuolle ja Kohoselle. 2004 (pdf)

Ulkoiset linkit

LVQ WEKA : lle: LVQ-muunnosten (LVQ1, OLVQ1, LVQ2.1, LVQ3, OLVQ3) toteutus WEKA-koneoppimistyöpöydälle.
Kohonen ja hänen tiiminsä virallinen julkaisu (1996) lvq_pak
LVQ WEKA : lle: Toinen LVQ : n toteutus Java-ohjelmassa WEKA Machine Learning Workbenchille.
GMLVQ-työkalupakki : Generalized Matrix LVQ: n (matriisin relevanssin oppiminen) helppokäyttöinen toteutus (c) matlabissa

[1] T. Kohonen. Itseorganisoituvat kartat. Springer, Berliini, 1997.

[2] T. Kohonen (1995), "Learning vector quantization", julkaisussa MA Arbib (toim.), The Handbook of Brain Theory and Neural Networks , Cambridge, MA: MIT Press, s. 537–540

[3] P. Schneider, B. Hammer ja M. Biehl (2009). "Adaptive Relevance Matricices in Learning Vector Quantization". Neuraalilaskenta . 21 (10): 3532–3561. CiteSeerX 10.1.1.216.1183 . doi : 10.1162 / neco.2009.10-08-892 . PMID 19635012 . S2CID 17306078 . CS1 maint: käyttää tekijän parametria ( linkki )

Languages

In other projects