Strukturert spådom - Structured prediction

Del av en serie om
Maskinlæring og data mining
Problemer Klassifisering Gruppering Regresjon Anomali deteksjon Datarensing AutoML Foreningsregler Forsterkningslæring Strukturert spådom Feature engineering Funksjonslæring Online læring Semi-overvåket læring Læring uten tilsyn Lær å rangere Grammatikkinduksjon
Overvåket læring ( klassifisering  • regresjon ) Beslutningstrær Ensembler Sekker Boosting Tilfeldig skog k -NN Lineær regresjon Naive Bayes Kunstige nevrale nettverk Logistisk regresjon Perceptron Relevansvektormaskin (RVM) Støttevektormaskin (SVM)
Gruppering BJØRK KURERE Hierarkisk k -betyr Forventning – maksimering (EM) DBSCAN OPTIKK Gjennomsnittlig skift
Reduksjon av dimensjoner Faktor analyse CCA ICA LDA NMF PCA PGD t-SNE
Strukturert spådom Grafiske modeller Bayes nett Betinget tilfeldig felt Skjult Markov
Anomali deteksjon k -NN Lokal avviksfaktor
Kunstig nevrale nettverk Autoencoder Kognitiv databehandling Dyp læring DeepDream Flerlags perceptron RNN LSTM GRU ESN Begrenset Boltzmann -maskin GAN SOM Konvolusjonelt nevrale nettverk U-Net Transformator Spiking nevrale nettverk Memtransistor Elektrokjemisk RAM (ECRAM)
Forsterkningslæring Q-læring SARSA Temporal forskjell (TD)
Teori Bias -varians -avveining Beregningslæringsteori Empirisk risikominimering Occam læring PAC -læring Statistisk læring VC teori
Maskinlæringssteder NeurIPS ICML ML JMLR ArXiv: cs.LG
Relaterte artikler Ordliste over kunstig intelligens Liste over datasett for maskinlæringsforskning Oversikt over maskinlæring
v t e

Strukturert prediksjon eller strukturert (output) læring er et paraplybegrep for overvåket maskinlæringsteknikk som innebærer å forutsi strukturerte objekter, snarere enn skalare diskrete eller virkelige verdier.

I likhet med ofte brukte overvåket læringsteknikker, blir strukturerte prediksjonsmodeller vanligvis trent ved hjelp av observerte data der den sanne prediksjonsverdien brukes til å justere modellparametere. På grunn av modellens kompleksitet og sammenhengen mellom forutsagte variabler, er forutsigelsesprosessen ved bruk av en opplært modell og selve treningen ofte beregningsmessig umulig og omtrentlige slutnings- og læringsmetoder brukes.

applikasjoner

For eksempel kan problemet med å oversette en naturlig språksetning til en syntaktisk representasjon, for eksempel et analysetre, sees på som et strukturert forutsigelsesproblem der det strukturerte utdatadomenet er settet med alle mulige analysetrær. Strukturert prediksjon brukes også i en lang rekke applikasjonsdomener, inkludert bioinformatikk , behandling av naturlig språk , talegjenkjenning og datasyn .

Eksempel: sekvensmerking

Sekvensmerking er en klasse problemer som er utbredt i behandling av naturlig språk , der inndata ofte er sekvenser (f.eks. Setninger i tekst). Sekvensmerking-problemet vises i flere former, f.eks. Tagging av tale og navngitt enhetsgjenkjenning . I POS -merking, for eksempel, må hvert ord i en sekvens motta en "tag" (klassetikett) som uttrykker sin "type" ord:

Dette	DT
er	VBZ
en	DT
merket	JJ
setning	NN
.	.

Hovedutfordringen med dette problemet er å løse tvetydighet : ordet "setning" kan også være et verb på engelsk, og det kan også "merkes".

Selv om dette problemet kan løses ved å utføre klassifisering av individuelle tokens, tar denne tilnærmingen ikke hensyn til det empiriske faktumet at tagger ikke forekommer uavhengig; i stedet viser hver tag en sterk betinget avhengighet av taggen til det forrige ordet. Dette faktum kan utnyttes i en sekvensmodell som en skjult Markov -modell eller et betinget tilfeldig felt som forutsier hele merkesekvensen for en setning, i stedet for bare individuelle tagger, ved hjelp av Viterbi -algoritmen .

Teknikker

Probabilistiske grafiske modeller danner en stor klasse med strukturerte prediksjonsmodeller. Spesielt er bayesianske nettverk og tilfeldige felt populære. Andre algoritmer og modeller for strukturert prediksjon inkluderer induktiv logisk programmering , kasusbasert resonnement , strukturerte SVM , Markov logiske nettverk , Probabilistic Soft Logic og begrensede betingede modeller . Hovedteknikker:

• Betinget tilfeldig felt
• Strukturert støttevektormaskin
• Strukturerte k-nærmeste naboer
• Gjentakende nevrale nettverk , spesielt Elman -nettverk

Strukturert perceptron

En av de enkleste måtene å forstå algoritmer for generell strukturert prediksjon er den strukturerte perceptronen til Collins . Denne algoritmen kombinerer perceptronalgoritmen for å lære lineære klassifiseringer med en slutningsalgoritme (klassisk Viterbi -algoritmen når den brukes på sekvensdata) og kan beskrives abstrakt som følger. Definer først en "fellesfunksjonsfunksjon" Φ ( x , y ) som tilordner et treningseksempel x og en kandidats prediksjon y til en vektor med lengde n ( x og y kan ha hvilken som helst struktur; n er problemavhengig, men må fikses for hver modell). La GEN være en funksjon som genererer kandidatspådommer. Deretter:

La være en vektvektor med lengde n${\ displaystyle w}$

For et forhåndsbestemt antall iterasjoner:

For hver prøve i treningssettet med ekte utgang :${\ displaystyle x}$${\ displaystyle t}$

Lag en spådom ${\ displaystyle {\ hat {y}} = {\ operatorname {arg \, max}} \, \ {{y} \ i {GEN} ({x}) \} \, ({w}^{T} \, \ phi ({x}, {y}))}$

Oppdatering fra til : , er læring hastighet${\ displaystyle w}$${\ displaystyle {\ hat {y}}}$${\ displaystyle t}$${\ displaystyle {w} = {w}+{c} (-\ phi ({x}, {\ hat {y}})+\ phi ({x}, {t}))}}$${\ displaystyle c}$

I praksis vil det å finne argmax gjøres ved hjelp av en algoritme som Viterbi eller en algoritme som maks-sum , i stedet for et uttømmende søk gjennom et eksponensielt stort sett med kandidater. ${\ displaystyle {GEN} ({x})}$

Ideen om læring ligner perceptron i flere klasser .

Referanser

• Noah Smith, Linguistic Structure Prediction , 2011.
• Michael Collins, Diskriminerende opplæringsmetoder for skjulte Markov -modeller , 2002.

Eksterne linker

• Implementering av Collins strukturerte perceptron