Sparsom ordlæringslæring - Sparse dictionary learning

Del av en serie om
Maskinlæring og data mining
Problemer Klassifisering Gruppering Regresjon Anomali deteksjon Datarensing AutoML Foreningsregler Forsterkningslæring Strukturert spådom Feature engineering Funksjonslæring Online læring Semi-overvåket læring Læring uten tilsyn Lær å rangere Grammatikkinduksjon
Overvåket læring ( klassifisering  • regresjon ) Beslutningstrær Ensembler Sekker Boosting Tilfeldig skog k -NN Lineær regresjon Naive Bayes Kunstige nevrale nettverk Logistisk regresjon Perceptron Relevansvektormaskin (RVM) Støttevektormaskin (SVM)
Gruppering BJØRK KURERE Hierarkisk k -betyr Forventning – maksimering (EM) DBSCAN OPTIKK Gjennomsnittlig skift
Reduksjon av dimensjoner Faktor analyse CCA ICA LDA NMF PCA PGD t-SNE
Strukturert spådom Grafiske modeller Bayes netto Betinget tilfeldig felt Skjult Markov
Anomali deteksjon k -NN Lokal avviksfaktor
Kunstig nevrale nettverk Autoencoder Kognitiv databehandling Dyp læring DeepDream Flerlags perceptron RNN LSTM GRU ESN Begrenset Boltzmann -maskin GAN SOM Konvolusjonelt nevrale nettverk U-Net Transformator Spiking nevrale nettverk Memtransistor Elektrokjemisk RAM (ECRAM)
Forsterkningslæring Q-læring SARSA Temporal forskjell (TD)
Teori Bias -varians -avveining Beregningslæringsteori Empirisk risikominimering Occam læring PAC -læring Statistisk læring VC teori
Maskinlæringssteder NeurIPS ICML ML JMLR ArXiv: cs.LG
Relaterte artikler Ordliste over kunstig intelligens Liste over datasett for maskinlæringsforskning Oversikt over maskinlæring
v t e

Sparsel koding er en læringsmetode for representasjon som tar sikte på å finne en sparsom representasjon av inndataene (også kjent som sparsom koding ) i form av en lineær kombinasjon av grunnelementer så vel som de grunnleggende elementene selv. Disse elementene kalles atomer og de utgjør en ordbok . Atomer i ordboken trenger ikke å være ortogonale , og de kan være et over-komplett spennende sett. Dette problemoppsettet tillater også at dimensionaliteten til signalene som representeres er høyere enn det av signalene som blir observert. De to egenskapene ovenfor fører til å ha tilsynelatende overflødige atomer som tillater flere representasjoner av det samme signalet, men også gir en forbedring i sparsomhet og fleksibilitet i representasjonen.

En av de viktigste applikasjonene for sparsom ordlæringslæring er innen komprimert sansing eller signalgjenoppretting . Ved komprimert sansing kan et høydimensjonalt signal gjenopprettes med bare noen få lineære målinger forutsatt at signalet er sparsomt eller nesten sparsomt. Siden ikke alle signaler tilfredsstiller denne sparsitetstilstanden, er det av stor betydning å finne en sparsom representasjon av det signalet, for eksempel wavelet -transformasjonen eller retningsgradienten til en rasterisert matrise. Når en matrise eller en høy dimensjonal vektor blir overført til en sparsom plass, forskjellige utvinning algoritmer som basis forfølgelse kan, CoSaMP eller fast ikke-iterative algoritmer benyttes for å gjenopprette signalet.

Et av hovedprinsippene for ordlæringslæring er at ordboken må utledes av inndataene. Fremveksten av sparsomme læringsmetoder for ordbok ble stimulert av det faktum at man i signalbehandling vanligvis ønsker å representere inndataene ved å bruke så få komponenter som mulig. Før denne tilnærmingen var den generelle praksisen å bruke forhåndsdefinerte ordbøker (for eksempel Fourier eller wavelet transforms). Imidlertid, i visse tilfeller en ordbok som er trent til å passe inn inngangsdata kan forbedre sparsity, som har anvendelser i data nedbrytning, kompresjon og analyse, og er blitt brukt innen bilde denoising og klassifisering , video og lyd behandling . Sparsitet og overfullstendige ordbøker har enorme applikasjoner innen bildekomprimering, bildesmelting og maling.

Problemstilling

Gitt innsatsdatasettet ønsker vi å finne en ordbok og en representasjon slik at begge er minimert og representasjonene er sparsomme nok. Dette kan formuleres som følgende optimaliseringsproblem : ${\ displaystyle X = [x_ {1}, ..., x_ {K}], x_ {i} \ in \ mathbb {R} ^{d}}$${\ displaystyle \ mathbf {D} \ in \ mathbb {R} ^{d \ times n}: D = [d_ {1}, ..., d_ {n}]}$${\ displaystyle R = [r_ {1}, ..., r_ {K}], r_ {i} \ in \ mathbb {R} ^{n}}$${\ displaystyle \ | X- \ mathbf {D} R \ | _ {F}^{2}}$${\ displaystyle r_ {i}}$

${\ displaystyle {\ undersett {\ mathbf {D} \ i {\ mathcal {C}}, r_ {i} \ in \ mathbb {R} ^{n}} {\ text {argmin}}} \ sum _ { i = 1}^{K} \ | x_ {i}-\ mathbf {D} r_ {i} \ | _ {2}^{2}+\ lambda \ | r_ {i} \ | _ {0}}$, hvor ,${\ displaystyle {\ mathcal {C}} \ equiv \ {\ mathbf {D} \ in \ mathbb {R} ^{d \ times n}: \ | d_ {i} \ | _ {2} \ leq 1 \ , \, \ forall i = 1, ..., n \}}$${\ displaystyle \ lambda> 0}$

${\ displaystyle {\ mathcal {C}}}$er nødvendig for å begrense slik at dets atomer ikke vil nå vilkårlig høye verdier som tillater vilkårlig lave (men ikke-null) verdier av . styrer avveiningen mellom sparsiteten og minimeringsfeilen. ${\ displaystyle \ mathbf {D}}$${\ displaystyle r_ {i}}$${\ displaystyle \ lambda}$

Minimeringsproblemet ovenfor er ikke konveks på grunn av ℓ ₀ -"normen", og å løse dette problemet er NP -vanskelig. I noen tilfeller er L ¹ -norm kjent for å sikre sparsomhet, og derfor blir ovenstående et konvekst optimaliseringsproblem med hensyn til hver av variablene og når den andre er fikset, men den er ikke konveks i fellesskap . ${\ displaystyle \ mathbf {D}}$${\ displaystyle \ mathbf {R}}$${\ displaystyle (\ mathbf {D}, \ mathbf {R})}$

Egenskaper for ordboken

Ordlisten som er definert ovenfor kan være "underfullstendig" hvis eller "overfullstendig" i tilfelle sistnevnte er en typisk forutsetning for et sparsomt ordbokopplæringsproblem. Saken om en komplett ordbok gir ingen forbedring fra et representativt synspunkt og blir derfor ikke vurdert. ${\ displaystyle \ mathbf {D}}$${\ displaystyle n <d}$${\ displaystyle n> d}$

Ufullstendige ordbøker representerer oppsettet der de faktiske inndataene ligger i et lavere dimensjonalt rom. Denne saken er sterkt knyttet til dimensjonsreduksjon og teknikker som hovedkomponentanalyse som krever atomer skal være ortogonale. Valget av disse underrommene er avgjørende for effektiv dimensjonal reduksjon, men det er ikke trivielt. Og dimensjonsreduksjon basert på ordbokrepresentasjon kan utvides til å adressere spesifikke oppgaver som dataanalyse eller klassifisering. Imidlertid er deres største ulempe å begrense valget av atomer. ${\ displaystyle d_ {1}, ..., d_ {n}}$

Overkomplette ordbøker krever imidlertid ikke atomene er ortogonale (de vil aldri være et grunnlag uansett) og gir dermed mulighet for mer fleksible ordbøker og rikere datarepresentasjoner.

En overfullstendig ordbok som muliggjør sparsom representasjon av signal, kan være en berømt transformasjonsmatrise (bølgetransformering, fouriertransformasjon) eller den kan formuleres slik at dens elementer blir endret på en slik måte at det tynt representerer det gitte signalet på en best mulig måte. Lærte ordbøker er i stand til å gi sparsommere løsninger sammenlignet med forhåndsdefinerte transformasjonsmatriser.

Algoritmer

Ettersom optimaliseringsproblemet beskrevet ovenfor kan løses som et konvekst problem med hensyn til enten ordbok eller sparsom koding mens den andre av de to er løst, er de fleste algoritmene basert på ideen om å iterativt oppdatere den ene og deretter den andre.

Problemet med å finne en optimal sparsom koding med en gitt ordbok er kjent som sparsom tilnærming (eller noen ganger bare sparsom kodingsproblem). En rekke algoritmer er utviklet for å løse det (for eksempel matching pursuit og LASSO ) og er inkorporert i algoritmene beskrevet nedenfor. ${\ displaystyle R}$${\ displaystyle \ mathbf {D}}$

Metode for optimale retninger (MOD)

Metoden for optimale retninger (eller MOD) var en av de første metodene som ble introdusert for å takle det sparsomme ordboklæringsproblemet. Kjernetanken med det er å løse minimeringsproblemet underlagt det begrensede antallet ikke-null-komponenter i representasjonsvektoren:

${\ displaystyle \ min _ {\ mathbf {D}, R} \ {\ | X- \ mathbf {D} R \ | _ {F}^{2} \} \, \, {\ text {st}} \, \, \ forall i \, \, \ | r_ {i} \ | _ {0} \ leq T}$

Her betegner Frobenius -normen . MOD veksler mellom å få den sparsomme kodingen ved å bruke en metode som matchende forfølgelse og oppdatering av ordboken ved å beregne den analytiske løsningen på problemet gitt av hvor er en Moore-Penrose pseudoinverse . Etter at denne oppdateringen er renormalisert for å passe begrensningene og den nye sparsomme kodingen oppnås igjen. Prosessen gjentas til konvergens (eller til en tilstrekkelig liten rest). ${\ displaystyle F}$${\ displaystyle \ mathbf {D} = XR^{+}}$${\ displaystyle R^{+}}$${\ displaystyle \ mathbf {D}}$

MOD har vist seg å være en veldig effektiv metode for lavdimensjonale inndata som krever bare noen få iterasjoner for å konvergere. På grunn av den høye kompleksiteten til matrisen-inversjonsoperasjonen, er det imidlertid i mange tilfeller vanskelig å beregne pseudoinversen i høydimensjonale tilfeller. Denne mangelen har inspirert utviklingen av andre læringsmetoder for ordbøker. ${\ displaystyle X}$

K-SVD

K-SVD er en algoritme som utfører SVD i kjernen for å oppdatere atomer i ordboken en etter en, og i utgangspunktet er en generalisering av K-midler . Det håndhever at hvert element i inndataene er kodet av en lineær kombinasjon av ikke mer enn elementer på en måte som er identisk med MOD -tilnærmingen: ${\ displaystyle x_ {i}}$${\ displaystyle T_ {0}}$

${\ displaystyle \ min _ {\ mathbf {D}, R} \ {\ | X- \ mathbf {D} R \ | _ {F}^{2} \} \, \, {\ text {st}} \, \, \ forall i \, \, \ | r_ {i} \ | _ {0} \ leq T_ {0}}$

Denne algoritmens essens er å først fikse ordboken, finne det best mulige under ovennevnte begrensning (ved hjelp av Orthogonal Matching Pursuit ) og deretter iterativt oppdatere atomer i ordboken på følgende måte: ${\ displaystyle R}$${\ displaystyle \ mathbf {D}}$

${\ displaystyle \ | X- \ mathbf {D} R \ | _ {F}^{2} = \ venstre | X- \ sum _ {i = 1}^{K} d_ {i} x_ {T}^ {i} \ right | _ {F}^{2} = \ | E_ {k} -d_ {k} x_ {T}^{k} \ | _ {F}^{2}}$

De neste trinnene i algoritmen inkluderer tilnærming av rang 1 til restmatrisen , oppdatering og håndheving av sparsiteten etter oppdateringen. Denne algoritmen anses å være standard for ordlæringslæring og brukes i en rekke applikasjoner. Den deler imidlertid svakheter med at MOD bare er effektiv for signaler med relativt lav dimensjonalitet og som har mulighet for å bli sittende fast i lokale minima. ${\ displaystyle E_ {k}}$${\ displaystyle d_ {k}}$${\ displaystyle x_ {k}}$

Stokastisk gradient nedstigning

Man kan også bruke en utbredt stokastisk gradient -nedstigningsmetode med iterativ projeksjon for å løse dette problemet. Tanken med denne metoden er å oppdatere ordlisten ved hjelp av den første ordens stokastiske gradient og projisere den på begrensningssettet . Trinnet som skjer ved i-th iterasjon er beskrevet av dette uttrykket: ${\ displaystyle {\ mathcal {C}}}$

${\ displaystyle \ mathbf {D} _ {i} = {\ text {proj}} _ {\ mathcal {C}} \ venstre \ {\ mathbf {D} _ {i-1}-\ delta _ {i} \ nabla _ {\ mathbf {D}} \ sum _ {i \ i S} \ | x_ {i}-\ mathbf {D} r_ {i} \ | _ {2}^{2}+\ lambda \ | r_ {i} \ | _ {1} \ right \}}$, hvor er en tilfeldig delmengde av og er et gradienttrinn. ${\ displaystyle S}$${\ displaystyle \ {1 ... K \}}$${\ displaystyle \ delta _ {i}}$

Lagrange dobbel metode

En algoritme basert på å løse et dobbelt Lagrangian -problem gir en effektiv måte å løse for ordlisten uten komplikasjoner forårsaket av sparsitetsfunksjonen. Vurder følgende Lagrangian:

${\ displaystyle {\ mathcal {L}} (\ mathbf {D}, \ Lambda) = {\ text {tr}} \ left ((X- \ mathbf {D} R)^{T} (X- \ mathbf {D} R) \ høyre)+\ sum _ {j = 1}^{n} \ lambda _ {j} \ venstre ({\ sum _ {i = 1}^{d} \ mathbf {D} _ { ij}^{2} -c} \ høyre)}$, hvor er en begrensning på normen for atomer og er de såkalte doble variablene som danner den diagonale matrisen . ${\ displaystyle c}$${\ displaystyle \ lambda _ {i}}$${\ displaystyle \ Lambda}$

Vi kan deretter gi et analytisk uttrykk for Lagrange dual etter minimering over : ${\ displaystyle \ mathbf {D}}$

${\ displaystyle {\ mathcal {D}} (\ Lambda) = \ min _ {\ mathbf {D}} {\ mathcal {L}} (\ mathbf {D}, \ Lambda) = {\ text {tr}} (X^{T} X-XR^{T} (RR^{T}+\ Lambda)^{-1} (XR^{T})^{T} -c \ Lambda)}$.

Etter å ha brukt en av optimaliseringsmetodene til verdien av det dobbelte (for eksempel Newtons metode eller konjugerte gradient ) får vi verdien av : ${\ displaystyle \ mathbf {D}}$

${\ displaystyle \ mathbf {D}^{T} = (RR^{T}+\ Lambda)^{-1} (XR^{T})^{T}}$

Å løse dette problemet er mindre vanskelig å beregne fordi mengden doble variabler mange ganger er mye mindre enn mengden variabler i det primære problemet. ${\ displaystyle n}$

LASSO

I denne tilnærmingen er optimaliseringsproblemet formulert som:

${\ displaystyle \ min _ {r \ in \ mathbb {R} ^{n}} \ {\, \, \ | r \ | _ {1} \} \, \, {\ text {underlagt}} \ , \, \ | X- \ mathbf {D} R \ | _ {F}^{2} <\ epsilon}$, hvor er den tillatte feilen i rekonstruksjonen av LASSO. ${\ displaystyle \ epsilon}$

Den finner et estimat på ved å minimere den minst kvadratiske feilen underlagt en L ¹ -norm begrensning i løsningsvektoren, formulert som: ${\ displaystyle r_ {i}}$

${\ displaystyle \ min _ {r \ in \ mathbb {R} ^{n}} \, \, {\ dfrac {1} {2}} \, \, \ | X- \ mathbf {D} r \ | _ {F}^{2}+\ lambda \, \, \ | r \ | _ {1}}$, der kontrollerer avveiningen mellom sparsomhet og gjenoppbyggingsfeil. Dette gir den globale optimale løsningen. Se også Online ordbokslæring for sparsom koding${\ displaystyle \ lambda> 0}$

Parametriske treningsmetoder

Parametriske opplæringsmetoder tar sikte på å inkorporere det beste fra begge verdener - området for analytisk konstruerte ordbøker og de lærde. Dette gjør det mulig å konstruere kraftigere generaliserte ordbøker som potensielt kan brukes på tilfeller av vilkårlige størrelser. Bemerkelsesverdige tilnærminger inkluderer:

• Oversettelses-uforanderlige ordbøker. Disse ordbøkene er sammensatt av oversettelsene av atomene som stammer fra ordboken som er konstruert for en endeløs signalpatch. Dette gjør at den resulterende ordboken kan gi en representasjon for signalet i vilkårlig størrelse.
• Flerspråklige ordbøker. Denne metoden fokuserer på å konstruere en ordbok som er sammensatt av forskjellig skalerte ordbøker for å forbedre sparsomheten.
• Sparsomme ordbøker. Denne metoden fokuserer på ikke bare å gi en sparsom representasjon, men også å konstruere en sparsom ordbok som håndheves av uttrykket hvor det er en forhåndsdefinert analytisk ordbok med ønskelige egenskaper som rask beregning og er en sparsom matrise. En slik formulering gjør det mulig å kombinere den raske implementeringen av analytiske ordbøker direkte med fleksibiliteten til sparsomme tilnærminger.${\ displaystyle \ mathbf {D} = \ mathbf {B} \ mathbf {A}}$${\ displaystyle \ mathbf {B}}$${\ displaystyle \ mathbf {A}}$

Online ordbokslæring ( LASSO -tilnærming )

Mange vanlige tilnærminger til sparsom ordlæringslæring er avhengige av at hele inndataene (eller i det minste et stort nok opplæringsdatasett) er tilgjengelig for algoritmen. Imidlertid er dette kanskje ikke tilfelle i det virkelige scenariet, ettersom størrelsen på inndataene kan være for store til å passe inn i minnet. Det andre tilfellet der denne antagelsen ikke kan gjøres, er når inndataene kommer i en form av en strøm . Slike tilfeller ligger innen studier av online læring, som i hovedsak foreslår iterativ oppdatering av modellen etter at de nye datapunktene blir tilgjengelige. ${\ displaystyle X}$${\ displaystyle x}$

En ordbok kan læres på en online måte på følgende måte:

1. Til ${\ displaystyle t = 1 ... T:}$
2. Tegn en ny prøve ${\ displaystyle x_ {t}}$
3. Finn en sparsom koding ved hjelp av LARS :${\ displaystyle r_ {t} = {\ undersett {r \ in \ mathbb {R} ^{n}} {\ text {argmin}}} \ venstre ({\ frac {1} {2}} \ | x_ { t}-\ mathbf {D} _ {t-1} r \ |+\ lambda \ | r \ | _ {1} \ right)}$
4. Oppdater ordbok ved hjelp av blokkoordineringstilnærming :${\ displaystyle \ mathbf {D} _ {t} = {\ undersett {\ mathbf {D} \ i {\ mathcal {C}}} {\ text {argmin}}} {\ frac {1} {t}} \ sum _ {i = 1}^{t} \ venstre ({\ frac {1} {2}} \ | x_ {i}-\ mathbf {D} r_ {i} \ | _ {2}^{2 }+\ lambda \ | r_ {i} \ | _ {1} \ høyre)}$

Denne metoden lar oss gradvis oppdatere ordboken etter hvert som nye data blir tilgjengelige for sparsom representasjonslæring og hjelper drastisk til å redusere mengden minne som trengs for å lagre datasettet (som ofte har en enorm størrelse).

applikasjoner

Ordbokens læringsramme, nemlig den lineære nedbrytningen av et inngangssignal ved bruk av noen få grunnelementer som er lært av dataene selv, har ført til topp moderne resultater i ulike bilde- og videobehandlingsoppgaver. Denne teknikken kan brukes på klassifiseringsproblemer på en måte at hvis vi har bygget spesifikke ordbøker for hver klasse, kan inngangssignalet klassifiseres ved å finne ordboken som tilsvarer den sparsommeste representasjonen.

Den har også egenskaper som er nyttige for signaldenoisering siden man vanligvis kan lære en ordbok å representere den meningsfulle delen av inngangssignalet på en sparsom måte, men støyen i inngangen vil ha en mye mindre sparsom representasjon.

Sparsel ordlæringslæring har blitt vellykket brukt på forskjellige bilde-, video- og lydbehandlingsoppgaver, så vel som tekstursyntese og uovervåket gruppering. I evalueringer med Bag-of-Words- modellen ble det funnet empirisk sparsom koding som overgikk andre kodingsmetoder for gjenkjenning av objektkategorier.

Ordbokslæring brukes til å analysere medisinske signaler i detalj. Slike medisinske signaler inkluderer de fra elektroencefalografi (EEG), elektrokardiografi (EKG), magnetisk resonansavbildning (MRI), funksjonell MR (fMRI), kontinuerlige glukosemonitorer og ultralyd datatomografi (USCT), hvor forskjellige forutsetninger brukes for å analysere hvert signal.

Se også

• Sparsom tilnærming
• Sparsom PCA
• K-SVD
• Matrisefaktorisering
• Nevral sparsom koding

Referanser