Quantification vectorielle d'apprentissage - Learning vector quantization

En informatique , la quantification vectorielle d'apprentissage ( LVQ ) est un algorithme de classification supervisée basé sur un prototype . LVQ est le pendant supervisé des systèmes de quantification vectorielle .

Aperçu

LVQ peut être compris comme un cas particulier de réseau de neurones artificiels , plus précisément, il applique une approche basée sur l' apprentissage Hebbian gagnant-gagnant . C'est un précurseur des cartes auto-organisées (SOM) et liées au gaz neuronal , et à l' algorithme du k-plus proche voisin (k-NN). LVQ a été inventé par Teuvo Kohonen .

Un système LVQ est représenté par des prototypes qui sont définis dans l' espace des caractéristiques des données observées. Dans les algorithmes d'apprentissage gagnant-à-tout, on détermine, pour chaque point de données, le prototype qui est le plus proche de l'entrée en fonction d'une mesure de distance donnée. La position de ce prototype dit gagnant est alors adaptée, c'est-à-dire que le gagnant est rapproché s'il classe correctement le point de données ou éloigné s'il classe incorrectement le point de données. ${\ Displaystyle W = (w (i), ..., w (n))}$

Un avantage de LVQ est qu'il crée des prototypes faciles à interpréter pour les experts du domaine d'application respectif. Les systèmes LVQ peuvent être appliqués à des problèmes de classification multi-classes de manière naturelle. Il est utilisé dans une variété d'applications pratiques. Voir la «Bibliographie sur la carte auto-organisée (SOM) et la quantification des vecteurs d'apprentissage (LVQ) ».

Une question clé dans LVQ est le choix d'une mesure appropriée de la distance ou de la similitude pour la formation et la classification. Récemment, des techniques ont été développées qui adaptent une mesure de distance paramétrée au cours de l'apprentissage du système, voir par exemple (Schneider, Biehl et Hammer, 2009) et les références qui y figurent.

LVQ peut être une grande aide dans la classification des documents texte.

Algorithme

Ci-dessous suit une description informelle.
L'algorithme se compose de trois étapes de base. L'entrée de l'algorithme est:

combien de neurones le système aura (dans le cas le plus simple, il est égal au nombre de classes) ${\ displaystyle M}$
quel poids chaque neurone a pour ${\ displaystyle {\ vec {w_ {i}}}}$ ${\ displaystyle i = 0,1, ..., M-1}$
l'étiquette correspondante à chaque neurone ${\ displaystyle c_ {i}}$ ${\ displaystyle {\ vec {w_ {i}}}}$
à quelle vitesse les neurones apprennent ${\ displaystyle \ eta}$
et une liste d'entrée contenant tous les vecteurs dont les étiquettes sont déjà connues (ensemble d'apprentissage). ${\ displaystyle L}$

Le flux de l'algorithme est:

Pour la prochaine entrée (avec étiquette ) dans trouver le neurone le plus proche , c'est -à- dire où est la métrique utilisée ( Euclidienne , etc.). ${\ displaystyle {\ vec {x}}}$ ${\ displaystyle y}$ ${\ displaystyle L}$ ${\ displaystyle {\ vec {w_ {m}}}}$
${\ displaystyle d ({\ vec {x}}, {\ vec {w_ {m}}}) = \ min \ limits _ {i} {d ({\ vec {x}}, {\ vec {w_ { je}}})}}$ ${\ displaystyle \, d}$
Mettre à jour . Une meilleure explication est de se rapprocher de l'entrée , si et appartiennent à la même étiquette et de les éloigner si ce n'est pas le cas. if (rapprochés) ou if (plus éloignés). ${\ displaystyle {\ vec {w_ {m}}}}$ ${\ displaystyle {\ vec {w_ {m}}}}$ ${\ displaystyle {\ vec {x}}}$ ${\ displaystyle {\ vec {x}}}$ ${\ displaystyle {\ vec {w_ {m}}}}$
${\ displaystyle {\ vec {w_ {m}}} \ gets {\ vec {w_ {m}}} + \ eta \ cdot \ left ({\ vec {x}} - {\ vec {w_ {m}} }\droite)}$ ${\ displaystyle c_ {m} = y}$
${\ displaystyle {\ vec {w_ {m}}} \ gets {\ vec {w_ {m}}} - \ eta \ cdot \ left ({\ vec {x}} - {\ vec {w_ {m}} }\droite)}$ ${\ displaystyle c_ {m} \ neq y}$
Tant qu'il reste des vecteurs, passez à l'étape 1, sinon terminez. ${\ displaystyle L}$

Remarque: et sont des vecteurs dans l'espace des fonctionnalités. Une description plus formelle peut être trouvée ici: http://jsalatas.ictpro.gr/implementation-of-competitive-learning-networks-for-weka/ ${\ displaystyle {\ vec {w_ {i}}}}$ ${\ displaystyle {\ vec {x}}}$

Références

^ T. Kohonen. Cartes auto-organisées. Springer, Berlin, 1997.
^ T. Kohonen (1995), "Quantification de vecteur d'apprentissage", dans MA Arbib (éd.), Le Manuel de la Théorie du Cerveau et des Réseaux de Neurones , Cambridge, MA: MIT Press, pp. 537-540
^ P. Schneider, B. Hammer et M. Biehl (2009). "Matrices de pertinence adaptatives dans l'apprentissage de la quantification vectorielle". Calcul neuronal . 21 (10): 3532–3561. CiteSeerX 10.1.1.216.1183 . doi : 10.1162 / neco.2009.10-08-892 . PMID 19635012 . S2CID 17306078 .CS1 maint: utilise le paramètre auteurs ( lien )

Lectures complémentaires

Cartes auto-organisées et quantification vectorielle d'apprentissage pour les séquences d'entités, Somervuo et Kohonen. 2004 (pdf)

Liens externes

LVQ pour WEKA : Implémentation de variantes LVQ (LVQ1, OLVQ1, LVQ2.1, LVQ3, OLVQ3) pour le WEKA Machine Learning Workbench.
lvq_pak sortie officielle (1996) par Kohonen et son équipe
LVQ pour WEKA : Une autre implémentation de LVQ en Java pour le WEKA Machine Learning Workbench.
Boîte à outils GMLVQ : une implémentation facile à utiliser de la matrice généralisée LVQ (apprentissage de la pertinence de la matrice) dans (c) matlab

[1] T. Kohonen. Cartes auto-organisées. Springer, Berlin, 1997.

[2] T. Kohonen (1995), "Quantification de vecteur d'apprentissage", dans MA Arbib (éd.), Le Manuel de la Théorie du Cerveau et des Réseaux de Neurones , Cambridge, MA: MIT Press, pp. 537-540

[3] P. Schneider, B. Hammer et M. Biehl (2009). "Matrices de pertinence adaptatives dans l'apprentissage de la quantification vectorielle". Calcul neuronal . 21 (10): 3532–3561. CiteSeerX 10.1.1.216.1183 . doi : 10.1162 / neco.2009.10-08-892 . PMID 19635012 . S2CID 17306078 .CS1 maint: utilise le paramètre auteurs ( lien )

Languages

In other projects