Apprendimento non supervisionato - Unsupervised learning

Parte di una serie su
Apprendimento automatico e data mining
I problemi Classificazione Raggruppamento Regressione Rilevamento anomalie Pulizia dei dati AutoML Regole dell'associazione Insegnamento rafforzativo Previsione strutturata Ingegneria delle caratteristiche Apprendimento delle funzionalità Apprendimento online Apprendimento semi-supervisionato Apprendimento non supervisionato Imparare a classificarsi Induzione grammaticale
Apprendimento supervisionato ( classificazione  • regressione ) Alberi decisionali Ensemble insaccamento potenziamento foresta casuale k -NN Regressione lineare Ingenuo Bayes Reti neurali artificiali Regressione logistica Perceptron Macchina vettoriale di pertinenza (RVM) Supporta la macchina vettoriale (SVM)
Raggruppamento BETULLA CURA gerarchico k -significa Aspettativa-massimizzazione (EM) DBSCAN OTTICA spostamento medio
Riduzione della dimensionalità Analisi fattoriale CCA ICA LDA NMF PCA PGD t-SNE
Previsione strutturata Modelli grafici Rete di Bayes Campo casuale condizionale Markov . nascosto
Rilevamento anomalie k -NN Fattore outlier locale
Rete neurale artificiale codificatore automatico Calcolo cognitivo Apprendimento profondo DeepDream Perceptron multistrato RNN LSTM GRUPPO ESN Macchina Boltzmann con restrizioni GAN SOM Rete neurale convoluzionale U-Net Trasformatore Spiking rete neurale Memtransistor RAM elettrochimica (ECRAM)
Insegnamento rafforzativo Q-learning SARSA Differenza temporale (TD)
Teoria Bias-varianza tradeoff Teoria dell'apprendimento computazionale Minimizzazione empirica del rischio Occam apprendimento PAC apprendimento Apprendimento statistico teoria VC
Luoghi di apprendimento automatico NeurIPS ICML ML JMLR ArXiv:cs.LG
Articoli Correlati Glossario dell'intelligenza artificiale Elenco dei set di dati per la ricerca sull'apprendimento automatico Cenni sull'apprendimento automatico
v T e

L'apprendimento non supervisionato è un tipo di apprendimento automatico in cui all'algoritmo non vengono fornite etichette o punteggi preassegnati per i dati di addestramento. Di conseguenza, gli algoritmi di apprendimento non supervisionato devono prima scoprire autonomamente qualsiasi modello naturale in quel set di dati di addestramento. Esempi comuni includono il clustering , in cui l'algoritmo raggruppa automaticamente i suoi esempi di addestramento in categorie con caratteristiche simili e l' analisi dei componenti principali , in cui l'algoritmo trova modi per comprimere il set di dati di addestramento identificando quali funzionalità sono più utili per discriminare tra diversi esempi di addestramento e scartando il resto. Ciò contrasta con l' apprendimento supervisionato in cui i dati di addestramento includono etichette di categoria preassegnate (spesso da un essere umano o dall'output dell'algoritmo di classificazione non di apprendimento). Altri livelli intermedi nello spettro di supervisione includono l' apprendimento per rinforzo , in cui sono disponibili solo punteggi numerici per ogni esempio di addestramento invece di tag dettagliati, e l' apprendimento semi-supervisionato in cui è stata etichettata solo una parte dei dati di addestramento.

I vantaggi dell'apprendimento non supervisionato includono un carico di lavoro minimo per preparare e verificare il set di formazione, a differenza delle tecniche di apprendimento supervisionato in cui è richiesta una notevole quantità di lavoro umano esperto per assegnare e verificare i tag iniziali e una maggiore libertà di identificare e sfruttare modelli precedentemente non rilevati che potrebbe non essere stato notato dagli "esperti". Ciò spesso avviene a scapito di tecniche non supervisionate che richiedono una maggiore quantità di dati di addestramento e che convergono più lentamente verso prestazioni accettabili, maggiori requisiti di calcolo e di archiviazione durante il processo esplorativo e potenzialmente una maggiore suscettibilità ad artefatti o anomalie nei dati di addestramento che potrebbero essere ovviamente irrilevanti o riconosciuti come errati da un essere umano, ma a cui viene assegnata un'importanza eccessiva dall'algoritmo di apprendimento non supervisionato.

approcci

Le famiglie comuni di algoritmi utilizzati nell'apprendimento non supervisionato includono: (1) clustering, (2) rilevamento di anomalie, (3) reti neurali (si noti che non tutte le reti neurali sono non supervisionate; possono essere addestrate da supervisionate, non supervisionate, semi-supervisionate o metodi di rinforzo) e (4) modelli a variabili latenti.

• Clustering metodi includono clustering gerarchico , k-means , modelli mistura , DBSCAN e OPTICS algoritmo
• I metodi di rilevamento delle anomalie includono Local Outlier Factor e Isolation Forest
• Approcci per l'apprendimento modelli a variabili latenti comprendono algoritmo em , il metodo dei momenti , e di separazione del segnale cieco tecniche ( Principal Component Analysis , analisi delle componenti indipendenti , fattorizzazione matrice non negativo , decomposizione ai valori singolari )
• I metodi di rete neurale includono autoencoder , reti di credenze profonde , apprendimento hebbiano , reti generative avversarie (GAN) e mappe auto-organizzanti

Metodo dei momenti

Un approccio statistico per l'apprendimento non supervisionato è il metodo dei momenti . Nel metodo dei momenti, i parametri incogniti di interesse nel modello sono legati ai momenti di una o più variabili casuali. Questi momenti sono stimati empiricamente dai campioni di dati disponibili e utilizzati per calcolare le distribuzioni di valore più probabili per ciascun parametro. Il metodo dei momenti si è dimostrato efficace nell'apprendimento dei parametri dei modelli a variabili latenti , dove oltre alle variabili osservate disponibili nei set di dati di addestramento e di input, si presume che esistano anche un certo numero di variabili latenti non osservate e per determinare la categorizzazione di ciascuno stesso. Un esempio pratico di modelli a variabili latenti nell'apprendimento automatico è il topic modeling , che è un modello statistico per prevedere le parole (variabili osservate) in un documento in base all'argomento (variabile latente) del documento. Il metodo dei momenti (tecniche di decomposizione tensoriale) ha dimostrato di recuperare coerentemente i parametri di un'ampia classe di modelli a variabili latenti sotto determinate ipotesi.

L' algoritmo di massimizzazione delle aspettative è un altro metodo pratico per l'apprendimento di modelli a variabili latenti. Tuttavia, può rimanere bloccato negli ottimi locali e non è garantito che converga ai veri parametri sconosciuti del modello. Al contrario, utilizzando il metodo dei momenti, la convergenza globale è garantita in alcune condizioni.

Reti neurali

Le prossime cinque sottosezioni contengono materiale di base. I materiali di livello più intermedio lo seguono in Comparison of Networks e Specific Networks. I materiali avanzati hanno le proprie voci di Wikipedia.

Compiti contro metodi

Tendenza per un compito ad impiegare metodi supervisionati vs. non supervisionati. La separazione può essere sfocata.

Tradizionalmente, i metodi supervisionati vengono utilizzati per le attività di riconoscimento e i metodi non supervisionati vengono utilizzati per le attività generative. Man mano che il progresso avanza, alcune attività utilizzano entrambi i metodi e alcune attività passano da un metodo all'altro. Ad esempio, il riconoscimento delle immagini è iniziato come fortemente supervisionato, ma è diventato ibrido impiegando un pre-addestramento non supervisionato, per poi passare di nuovo alla supervisione con l'avvento del dropout, del relu e dei tassi di apprendimento adattivo.

Addestramento

Durante la fase di apprendimento, una rete non supervisionata cerca di imitare i dati che ha ricevuto e usa l'errore nel suo output imitato per correggersi (cioè correggere i suoi pesi e pregiudizi). Questo assomiglia al comportamento mimetico dei bambini mentre imparano una lingua. A volte l'errore è espresso come una bassa probabilità che si verifichi un'uscita errata, o potrebbe essere espresso come uno stato di alta energia instabile nella rete.

In contrasto con l'uso dominante del metodo supervisionato di Backpropagation, i metodi non supervisionati impiegano vari algoritmi di apprendimento tra cui: regola di apprendimento Hopfield, regola di apprendimento Boltzmann, Divergenza contrastiva, Wake Sleep, Variational Inference, Maximum A Posteriori, Gibbs Sampling, retropropagazione dell'errore di ricostruzione o retropropagazione del riparametrizzazione dello stato nascosto. Vedere la tabella sottostante per maggiori dettagli.

Energia

Nelle macchine di Boltzmann, l'energia svolge il ruolo della funzione di costo. Una funzione energetica è una misura macroscopica dello stato di una rete. Questa analogia con la fisica si ispira all'analisi di Ludwig Boltzmann dell'energia macroscopica di un gas dalle probabilità microscopiche del moto delle particelle p e ^E/kT , dove k è la costante di Boltzmann e T è la temperatura. Nella rete RBM la relazione è p = e ^−E / Z, dove p & E variano su ogni possibile pattern di attivazione e Z = e ^-E(pattern) . Per essere più precisi, p(a) = e ^-E(a) / Z, dove a è un pattern di attivazione di tutti i neuroni (visibili e nascosti). Quindi, le prime reti neurali portano il nome di Boltzmann Machine. Paul Smolensky chiama -E l'Armonia. Una rete cerca bassa energia che è alta armonia. ${\displaystyle\propto}$${\displaystyle \sum _{AllPatterns}}$

Reti

Questa tabella mostra gli schemi di collegamento di varie reti non supervisionate, i cui dettagli verranno forniti nella sezione Confronto di rete. Delle reti che portano nomi di persone, solo Hopfield ha lavorato direttamente con le reti neurali. Boltzmann e Helmholtz vissero prima dell'invenzione delle reti neurali artificiali, ma ispirarono i metodi analitici utilizzati.

Hopfield	Boltzmann	RBM	Helmholtz	codificatore automatico	VAE
Una rete basata su domini magnetici in ferro con un unico strato autoconnesso.	2 strati. Utilizza pesi simmetrici a 2 vie. Seguendo la termodinamica di Boltzmann, le probabilità individuali danno luogo a energie macroscopiche.	Macchina Boltzmann ristretta. Questa è una macchina Boltzmann in cui le connessioni laterali all'interno di uno strato sono vietate per rendere l'analisi trattabile.	Invece della connessione simmetrica bidirezionale di una macchina di Boltzmann, abbiamo connessioni unidirezionali separate per formare un anello. Fa sia la generazione che la discriminazione.	Una rete feed forward che mira a trovare una buona rappresentazione di livello intermedio del suo mondo di input.	Applica l'inferenza variazionale all'autoencoder. Lo strato intermedio è un insieme di medie e varianze per le distribuzioni gaussiane.

Storia

Reti specifiche

Qui, evidenziamo alcune caratteristiche di ciascuna rete. Il ferromagnetismo ha ispirato le reti Hopfield, le macchine Boltzmann e gli RBM. Un neurone corrisponde a un dominio di ferro con momenti magnetici binari Up e Down e le connessioni neurali corrispondono all'influenza reciproca del dominio. Le connessioni simmetriche consentono una formulazione energetica globale. Durante l'inferenza, la rete aggiorna ogni stato utilizzando la funzione di passaggio di attivazione standard. I pesi simmetrici garantiscono la convergenza verso un modello di attivazione stabile.

Hopfield

le reti vengono utilizzate come CAM e sono garantite per adattarsi a un certo modello. Senza pesi simmetrici, la rete è molto difficile da analizzare. Con la giusta funzione energetica, una rete convergerà.

macchine Boltzmann

Queste sono reti stocastiche di Hopfield. Il loro valore di stato è campionato da questo pdf come segue: supponiamo che un neurone binario si attivi con la probabilità di Bernoulli p(1) = 1/3 e si fermi con p(0) = 2/3. Si campiona da esso prendendo un numero casuale uniformemente distribuito y e collegandolo alla funzione di distribuzione cumulativa invertita, che in questo caso è la funzione a gradino con soglia di 2/3. La funzione inversa = { 0 se x <= 2/3, 1 se x > 2/3 }

Helmholtz

Queste sono le prime ispirazioni per gli encoder automatici variazionali. Sono 2 reti combinate in una: i pesi in avanti operano il riconoscimento e i pesi all'indietro implementano l'immaginazione. È forse la prima rete a fare entrambe le cose. Helmholtz non ha lavorato nell'apprendimento automatico, ma ha ispirato la visione del "motore di inferenza statistica la cui funzione è quella di inferire le probabili cause dell'input sensoriale" (3). il neurone binario stocastico fornisce una probabilità che il suo stato sia 0 o 1. L'input di dati non è normalmente considerato un livello, ma nella modalità di generazione della macchina di Helmholtz, il livello di dati riceve l'input dal livello intermedio ha pesi separati per questo scopo, quindi è considerato uno strato. Quindi questa rete ha 3 livelli.

Autoencoder variazionale

Questi sono ispirati alle macchine di Helmholtz e combinano la rete di probabilità con le reti neurali. Un codificatore automatico è una rete CAM a 3 livelli, in cui si suppone che lo strato intermedio sia una rappresentazione interna dei modelli di input. La rete neurale è un codificatore q distribuzione di probabilità _φ (z proposta x) e la rete decodificatore è p _θ (x proposta z). I pesi sono chiamati phi e theta piuttosto che W e V come in Helmholtz, una differenza estetica. Queste 2 reti qui possono essere completamente connesse o utilizzare un altro schema NN.

Confronto di reti

	Hopfield	Boltzmann	RBM	Helmholtz	codificatore automatico	VAE
utilizzo e notabili	CAM, problema del commesso viaggiatore	CAMERA. La libertà di connessione rende questa rete difficile da analizzare.	riconoscimento di pattern (MNIST, riconoscimento vocale)	immaginazione, mimetismo	lingua: scrittura creativa, traduzione. Visione: miglioramento delle immagini sfocate	generare dati realistici
neurone	stato binario deterministico. Attivazione = { 0 (o -1) se x è negativo, 1 altrimenti }	binario stocastico neurone Hopfield	binario stocastico. Esteso a valori reali a metà degli anni 2000	stocastico, binario, sigmoideo	lingua: LSTM. visione: campi recettivi locali. attivazione relu di solito a valore reale.	i neuroni dello strato intermedio codificano le medie e le varianze per le gaussiane. In modalità di esecuzione (inferenza), l'output del livello intermedio sono i valori campionati dalle gaussiane.
connessioni	1 strato con pesi simmetrici. Nessuna autoconnessione.	2 strati. 1 nascosto e 1 visibile. pesi simmetrici.	<-- lo stesso. nessuna connessione laterale all'interno di uno strato.	3 strati: pesi asimmetrici. 2 reti combinate in 1.	3 strati. L'input è considerato un layer anche se non ha pesi in entrata. strati ricorrenti per la PNL. circonvoluzioni feedforward per la visione. input e output hanno lo stesso numero di neuroni.	3 strati: input, encoder, decoder campionatore di distribuzione. il campionatore non è considerato uno strato (e)
inferenza ed energia	l'energia è data dalla misura di probabilità di Gibbs:${\displaystyle E=-{\frac {1}{2}}\sum _{i,j}{w_{ij}{s_{i}}{s_{j}}}+\sum _{i}{ \theta _{i}}{s_{i}}}$	lo stesso	lo stesso	minimizzare la divergenza di KL	l'inferenza è solo feed-forward. le reti UL precedenti andavano avanti E indietro	minimizza errore = errore di ricostruzione - KLD
addestramento	w ij = s i *s j , per +1/-1 neurone	Δw ij = e*(p ij - p' ij ). Questo deriva dalla minimizzazione di KLD. e = tasso di apprendimento, p' = previsto e p = distribuzione effettiva.	divergenza contrastiva con campionamento di Gibbs	veglia-sonno allenamento a 2 fasi	indietro propagare l'errore di ricostruzione	riparametrizzare lo stato nascosto per backprop
forza	assomiglia ai sistemi fisici quindi eredita le loro equazioni	<--- lo stesso. i neuroni nascosti fungono da rappresentazione interna del mondo esterno	schema di formazione più veloce e pratico rispetto alle macchine Boltzmann	moderatamente anatomico. analizzabile con teoria dell'informazione e meccanica statistica
debolezza		difficile da allenare a causa dei collegamenti laterali

Hebbian Learning, ART, SOM
L'esempio classico di apprendimento non supervisionato nello studio delle reti neurali è il principio di Donald Hebb , ovvero i neuroni che si attivano insieme si collegano insieme. Nell'apprendimento hebbiano , la connessione è rinforzata indipendentemente da un errore, ma è esclusivamente una funzione della coincidenza tra i potenziali d'azione tra i due neuroni. Una versione simile che modifica i pesi sinaptici tiene conto del tempo tra i potenziali d'azione ( plasticità dipendente dal tempo di picco o STDP). È stato ipotizzato che Hebbian Learning sia alla base di una serie di funzioni cognitive, come il riconoscimento di schemi e l'apprendimento esperienziale.

Tra i modelli di rete neurale , la mappa auto-organizzata (SOM) e la teoria della risonanza adattiva (ART) sono comunemente utilizzate negli algoritmi di apprendimento non supervisionato. Il SOM è un'organizzazione topografica in cui le posizioni vicine nella mappa rappresentano input con proprietà simili. Il modello ART consente al numero di cluster di variare con la dimensione del problema e consente all'utente di controllare il grado di somiglianza tra i membri degli stessi cluster mediante una costante definita dall'utente chiamata parametro di vigilanza. Le reti ART sono utilizzate per molte attività di riconoscimento di modelli, come il riconoscimento automatico del bersaglio e l'elaborazione del segnale sismico.

Guarda anche

• Apprendimento automatico delle macchine
• Analisi di gruppo
• Rilevamento anomalie
• Algoritmo di massimizzazione delle aspettative
• Carta topografica generativa
• Meta-apprendimento (informatica)
• Analisi multivariata
• Rete di funzioni a base radiale
• Supervisione debole

Riferimenti

Ulteriori letture

• Bousquet, O.; von Luxburg, U.; Raetsch, G., eds. (2004). Lezioni avanzate sull'apprendimento automatico . Springer-Verlag. ISBN 978-3540231226.
• Duda, Richard O. ; Hart, Peter E. ; Cicogna, David G. (2001). "Apprendimento senza supervisione e clustering". Classificazione dei modelli (2a ed.). Wiley. ISBN 0-471-05669-3.
• Hastie, Trevor; Tibshirani, Robert (2009). Gli elementi dell'apprendimento statistico: data mining, inferenza e previsione . New York: Springer. pp. 485-586. doi : 10.1007/978-0-387-84858-7_14 . ISBN 978-0-387-84857-0.
• Hinton, Geoffrey ; Sejnowski, Terrence J. , ed. (1999). Apprendimento non supervisionato: fondamenti del calcolo neurale . MIT Press . ISBN 0-262-58168-X.(Questo libro si concentra sull'apprendimento non supervisionato nelle reti neurali )