Gaussisk prosess - Gaussian process

I sannsynlighetsteori og statistikk er en gaussisk prosess en stokastisk prosess (en samling av tilfeldige variabler indeksert etter tid eller rom), slik at hver begrenset samling av disse tilfeldige variablene har en multivariat normalfordeling , dvs. hver endelige lineære kombinasjon av dem er normalt distribuert. Fordelingen av en Gauss -prosess er fellesfordelingen av alle de (uendelig mange) tilfeldige variablene, og som sådan er det en fordeling over funksjoner med et kontinuerlig domene, f.eks. Tid eller rom.

Konseptet med gaussiske prosesser er oppkalt etter Carl Friedrich Gauss fordi det er basert på forestillingen om den gaussiske fordelingen ( normalfordeling ). Gaussiske prosesser kan sees på som en uendelig dimensjonal generalisering av multivariate normalfordelinger.

Gaussiske prosesser er nyttige i statistisk modellering , og drar fordel av egenskaper som er arvet fra normalfordelingen. For eksempel, hvis en tilfeldig prosess er modellert som en gaussisk prosess, kan fordelingen av forskjellige avledede mengder eksplisitt oppnås. Slike mengder inkluderer gjennomsnittsverdien av prosessen over et tidsrom og feilen i å estimere gjennomsnittet ved hjelp av prøveverdier ved et lite sett med tider. Selv om eksakte modeller ofte skaleres dårlig etter hvert som datamengden øker, har det blitt utviklet flere tilnærmingsmetoder som ofte beholder god nøyaktighet og reduserer beregningstiden drastisk.

Definisjon

En tidskontinuerlig stokastisk prosess er Gaussisk hvis og bare hvis for hvert endelige sett med indekser i indekssettet ${\ displaystyle \ left \ {X_ {t}; t \ in T \ right \}}$ ${\ displaystyle t_ {1}, \ ldots, t_ {k}}$ ${\ displaystyle T}$

{\ displaystyle \ mathbf {X} _ {t_ {1}, \ ldots, t_ {k}} = (X_ {t_ {1}}, \ ldots, X_ {t_ {k}})}}

er en multivariat gaussisk tilfeldig variabel . Det er det samme som å si at hver lineær kombinasjon av har en univariat normal (eller gaussisk) fordeling. ${\ displaystyle (X_ {t_ {1}}, \ ldots, X_ {t_ {k}})}$

Ved hjelp av karakteristiske funksjoner av tilfeldige variabler, kan Gaussian eiendom formuleres slik: er Gaussian hvis og bare hvis, for hver begrenset sett av indekser , er det virkelige verdi , med slik at følgende likhet gjelder for alle ${\ displaystyle \ left \ {X_ {t}; t \ in T \ right \}}$ ${\ displaystyle t_ {1}, \ ldots, t_ {k}}$ ${\ displaystyle \ sigma _ {\ ell j}}$ ${\ displaystyle \ mu _ {\ ell}}$ ${\ displaystyle \ sigma _ {jj}> 0}$ ${\ displaystyle s_ {1}, s_ {2}, \ ldots, s_ {k} \ in \ mathbb {R}}$

{\ displaystyle \ operatorname {E} \ left (\ exp \ left (i \ \ sum _ {\ ell = 1}^{k} s _ {\ ell} \ \ mathbf {X} _ {t _ {\ ell}} \ høyre) \ høyre) = \ exp \ venstre (-{\ frac {1} {2}} \, \ sum _ {\ ell, j} \ sigma _ {\ ell j} s _ {\ ell} s_ {j }+i \ sum _ {\ ell} \ mu _ {\ ell} s _ {\ ell} \ høyre)}

.

hvor betegner den imaginære enheten slik at . ${\ displaystyle i}$ ${\ displaystyle i^{2} =-1}$

Tallene og kan vises for å være kovariansene og middelene til variablene i prosessen. ${\ displaystyle \ sigma _ {\ ell j}}$ ${\ displaystyle \ mu _ {\ ell}}$

Forskjell

Variansen i en Gauss -prosess er formell når som helst , endelig ${\ displaystyle t}$

{\ displaystyle \ operatorname {var} [X (t)] = \ operatorname {E} [| X (t)-\ operatorname {E} [X (t)] |^{2}] <\ infty \ quad { \ text {for all}} t \ in T}

.

Stasjonæritet

For generelle stokastiske prosesser innebærer streng-sans-stasjonaritet vid-sans-stasjonæritet, men ikke alle vid-sans-stasjonære stokastiske prosesser er strenge-sans-stasjonære. Imidlertid er de to begrepene ekvivalente for en gaussisk stokastisk prosess.

En Gauss-stokastisk prosess er stasjonær med strenge sanser, hvis den bare er vidfølende stasjonær.

Eksempel

Det er en eksplisitt representasjon for stasjonære Gauss -prosesser. Et enkelt eksempel på denne representasjonen er

{\ displaystyle X_ {t} = \ cos (at) \ xi _ {1}+\ sin (at) \ xi _ {2}}

hvor og er uavhengige tilfeldige variabler med standard normalfordeling . ${\ displaystyle \ xi _ {1}}$ ${\ displaystyle \ xi _ {2}}$

Kovariansfunksjoner

Et sentralt faktum i Gauss-prosesser er at de kan defineres fullstendig av andreordens statistikk. Hvis en Gauss -prosess antas å ha gjennomsnittlig null, definerer definisjonen av kovariansfunksjonen fullstendig prosessens oppførsel. Det er viktig at den ikke-negative definisjonen av denne funksjonen muliggjør dens spektrale dekomponering ved hjelp av ekspansjonen Karhunen-Loève . Grunnleggende aspekter som kan defineres gjennom kovariansfunksjonen er prosessens stasjonæritet , isotropi , glatthet og periodisitet .

Stationaritet refererer til prosessens oppførsel når det gjelder separasjon av to punkter og . Hvis prosessen er stasjonær, avhenger det av atskillelsen, mens hvis den er ikke-stasjonær, avhenger den av den faktiske posisjonen til punktene og . For eksempel er det spesielle tilfellet av en Ornstein - Uhlenbeck -prosess , en brunsk bevegelsesprosess , stasjonær. ${\ displaystyle x}$ ${\ displaystyle x '}$ ${\ displaystyle x-x '}$ ${\ displaystyle x}$ ${\ displaystyle x '}$

Hvis prosessen bare er avhengig av , den euklidiske avstanden (ikke retningen) mellom og , blir prosessen ansett som isotrop. En prosess som samtidig er stasjonær og isotrop anses å være homogen ; i praksis gjenspeiler disse egenskapene forskjellene (eller rettere sagt mangelen på dem) i oppførselen til prosessen gitt plasseringen til observatøren. ${\ displaystyle | x-x '|}$ ${\ displaystyle x}$ ${\ displaystyle x '}$

Til syvende og sist oversettes gaussiske prosesser som å ta prioriteringer på funksjoner, og glattheten til disse priorene kan induseres av kovariansfunksjonen. Hvis vi forventer at for "nærliggende" inngangspunkter og deres tilsvarende utgangspunkter og å være "i nærheten" også, er antagelsen om kontinuitet til stede. Hvis vi ønsker å tillate betydelig forskyvning, kan vi velge en grovere kovariansfunksjon. Ekstreme eksempler på oppførselen er kovariansfunksjonen Ornstein - Uhlenbeck og den kvadratiske eksponentiell hvor førstnevnte aldri er differensierbar og sistnevnte uendelig differensierbar. ${\ displaystyle x}$ ${\ displaystyle x '}$ ${\ displaystyle y}$ ${\ displaystyle y '}$

Periodisitet refererer til å indusere periodiske mønstre i prosessens oppførsel. Formelt oppnås dette ved å kartlegge inngangen til en todimensjonal vektor . ${\ displaystyle x}$ ${\ displaystyle u (x) = \ left (\ cos (x), \ sin (x) \ right)}$

Vanlige kovariansfunksjoner

Effekten av å velge forskjellige kjerner på den tidligere funksjonsfordelingen av den gaussiske prosessen. Venstre er en kvadratisk eksponentiell kjerne. Midten er brunsk. Høyre er kvadratisk.

Det er en rekke vanlige kovariansfunksjoner:

Konstant : ${\ displaystyle K _ {\ operatorname {C}} (x, x ') = C}$
Lineær: ${\ displaystyle K _ {\ operatorname {L}} (x, x ') = x^{T} x'}$
hvit Gauss -støy: ${\ displaystyle K _ {\ operatorname {GN}} (x, x ') = \ sigma ^{2} \ delta _ {x, x'}}$
Kvadratisk eksponentiell: ${\ displaystyle K _ {\ operatorname {SE}} (x, x ') = \ exp {\ Big (}-{\ frac {| d | ^{2}} {2 \ ell ^{2}}} {\ Stor )}}$
Ornstein - Uhlenbeck: ${\ displaystyle K _ {\ operatorname {OU}} (x, x ') = \ exp \ left (-{\ frac {| d |} {\ ell}} \ right)}$
Matern: ${\ displaystyle K _ {\ operatorname {Matern}} (x, x ') = {\ frac {2^{1- \ nu}} {\ Gamma (\ nu)}} {\ Big (} {\ frac {{ \ sqrt {2 \ nu}} | d |} {\ ell}} {\ Big)}^{\ nu} K _ {\ nu} {\ Big (} {\ frac {{\ sqrt {2 \ nu}} | d |} {\ ell}} {\ Big)}}$
Periodisk: ${\ displaystyle K _ {\ operatorname {P}} (x, x ') = \ exp \ left (-{\ frac {2 \ sin ^{2} \ left ({\ frac {d} {2}} \ right )} {\ ell ^{2}}} \ høyre)}$
Rasjonell kvadratisk: ${\ displaystyle K _ {\ operatorname {RQ}} (x, x ') = (1+ | d |^{2})^{-\ alpha}, \ quad \ alpha \ geq 0}$

Her . Parameteren er den karakteristiske lengde-av prosess-skalaen (praktisk talt "hvor nær" to punkter , og må være til å påvirke hverandre i betydelig grad), er Kronecker delta og den standardavvik av støysvingninger. Dessuten er den modifiserte Bessel-funksjon av orden og er gammafunksjonen evalueres . Viktigere kan en komplisert kovariansfunksjon defineres som en lineær kombinasjon av andre enklere kovariansfunksjoner for å inkorporere forskjellig innsikt om datasettet. ${\ displaystyle d = x-x '}$ ${\ displaystyle \ ell}$ ${\ displaystyle x}$ ${\ displaystyle x '}$ ${\ displaystyle \ delta}$ ${\ displaystyle \ sigma}$ ${\ displaystyle K _ {\ nu}}$ ${\ displaystyle \ nu}$ ${\ displaystyle \ Gamma (\ nu)}$ ${\ displaystyle \ nu}$

Det er klart at de inferensielle resultatene er avhengig av verdiene til hyperparametrene (f.eks. Og ) som definerer modellens oppførsel. Et populært valg for er å gi maksimum a posteriori (MAP) estimater av det med noen valgte forhåndsinnstillinger. Hvis forrige er veldig nær uniform, er dette det samme som å maksimere den marginale sannsynligheten for prosessen; marginaliseringen utføres over de observerte prosessverdiene . Denne tilnærmingen er også kjent som maksimal sannsynlighet II , bevismaksimering eller empiriske Bayes . ${\ displaystyle \ theta}$ ${\ displaystyle \ ell}$ ${\ displaystyle \ sigma}$ ${\ displaystyle \ theta}$ ${\ displaystyle y}$

Kontinuitet

For en Gauss-prosess er kontinuitet i sannsynlighet ekvivalent med gjennomsnittlig kvadratisk kontinuitet , og kontinuitet med sannsynlighet tilsvarer prøvekontinuitet . Sistnevnte innebærer, men antydes ikke av, kontinuitet i sannsynlighet. Kontinuitet i sannsynlighet holder hvis og bare hvis gjennomsnittet og autokovariansen er kontinuerlige funksjoner. I kontrast var prøvekontinuiteten utfordrende selv for stasjonære Gauss -prosesser (som sannsynligvis først nevnt av Andrey Kolmogorov ), og mer utfordrende for mer generelle prosesser. Som vanlig, betyr en prøve kontinuerlig prosess en prosess som innrømmer en prøve kontinuerlig modifikasjon .

Stasjonær sak

For en stasjonær Gauss -prosess er noen forhold på spekteret tilstrekkelige for prøvekontinuitet, men unnlater å være nødvendige. En nødvendig og tilstrekkelig tilstand, noen ganger kalt Dudley-Fernique teorem, involverer funksjonen definert av ${\ displaystyle X = (X_ {t}) _ {t \ in \ mathbb {R}},}$ ${\ displaystyle \ sigma}$

{\ displaystyle \ sigma (h) = {\ sqrt {\ mathbb {E} {\ big (} X (t+h) -X (t) {\ big)}^{2}}}}

(høyre side er ikke avhengig av på grunn av stasjonæritet). Kontinuitet av i sannsynlighet tilsvarer kontinuitet av at Når konvergens av til (as ) er for treg, kan prøvekontinuitet av mislykkes. Konvergens mellom følgende integraler er viktig: ${\ displaystyle t}$ ${\ displaystyle X}$ ${\ displaystyle \ sigma}$ ${\ displaystyle 0.}$ ${\ displaystyle \ sigma (h)}$ ${\ displaystyle 0}$ ${\ displaystyle h \ to 0}$ ${\ displaystyle X}$

{\ displaystyle I (\ sigma) = \ int _ {0}^{1} {\ frac {\ sigma (h)} {h {\ sqrt {\ log (1/h)}}}}} \, dh = \ int _ {0}^{\ infty} 2 \ sigma (\ mathbb {e}^{-x^{2}}) \, dx,}

disse to integralene er like i henhold til integrasjon ved substitusjon Den første integranden trenger ikke begrenses, slik at integralet kan konvergere ( ) eller avvike ( ). Tar for eksempel for stor som er, for små får man når og når I disse to tilfellene funksjonen øker på , men generelt er det ikke. Dessuten tilstanden ${\ displaystyle h = \ mathbb {e} ^{-x ^{2}},}$ ${\ displaystyle \ textstyle x = {\ sqrt {\ log (1/t)}}.}$ ${\ displaystyle h \ til 0+,}$ ${\ displaystyle I (\ sigma) <\ infty}$ ${\ displaystyle I (\ sigma) = \ infty}$ ${\ displaystyle \ sigma (\ mathbb {e}^{-x^{2}}) = {\ tfrac {1} {x^{a}}}}$ ${\ displaystyle x,}$ ${\ displaystyle \ sigma (h) = (\ log (1/h))^{-a/2}}$ ${\ displaystyle h,}$ ${\ displaystyle I (\ sigma) <\ infty}$ ${\ displaystyle a> 1,}$ ${\ displaystyle I (\ sigma) = \ infty}$ ${\ displaystyle 0 <a \ leq 1.}$ ${\ displaystyle \ sigma}$ ${\ displaystyle [0, \ infty),}$

{\ displaystyle (*)}

det finnes slike som er monoton på

{\ displaystyle \ varepsilon> 0}

{\ displaystyle \ sigma}

{\ displaystyle [0, \ varepsilon]}

følger ikke av kontinuiteten til og de åpenbare relasjonene (for alle ) og ${\ displaystyle \ sigma}$ ${\ displaystyle \ sigma (h) \ geq 0}$ ${\ displaystyle h}$ ${\ displaystyle \ sigma (0) = 0.}$

Teorem 1. La være kontinuerlig og tilfredsstille Da er betingelsen nødvendig og tilstrekkelig for prøvekontinuitet av ${\ displaystyle \ sigma}$ ${\ displaystyle (*).}$ ${\ displaystyle I (\ sigma) <\ infty}$ ${\ displaystyle X.}$

Litt historie. Tilstrekkelighet ble kunngjort av Xavier Fernique i 1964, men det første beviset ble utgitt av Richard M. Dudley i 1967. Nødvendigheten ble bevist av Michael B. Marcus og Lawrence Shepp i 1970.

Det finnes eksempler på kontinuerlige prosesser slik at de bryter tilstanden Et eksempel funnet av Marcus og Shepp er en tilfeldig lacunary Fourier -serie ${\ displaystyle X}$ ${\ displaystyle I (\ sigma) = \ infty;}$ ${\ displaystyle (*).}$

{\ displaystyle X_ {t} = \ sum _ {n = 1}^{\ infty} c_ {n} (\ xi _ {n} \ cos \ lambda _ {n} t+\ eta _ {n} \ sin \ lambda _ {n} t),}

hvor er uavhengige tilfeldige variabler med standard normalfordeling ; frekvenser er en raskt voksende sekvens; og koeffisientene tilfreds Det sistnevnte forhold innebærer hvorfra nesten med sikkerhet, noe som sikrer en jevn konvergens av Fourier-rekker nesten helt sikkert, og prøve kontinuiteten av ${\ displaystyle \ xi _ {1}, \ eta _ {1}, \ xi _ {2}, \ eta _ {2}, \ prikker}$ ${\ displaystyle 0 <\ lambda _ {1} <\ lambda _ {2} <\ dots}$ ${\ displaystyle c_ {n}> 0}$ ${\ displaystyle \ textstyle \ sum _ {n} c_ {n} <\ infty.}$ ${\ displaystyle \ textstyle \ mathbb {E} \ sum _ {n} c_ {n} (| \ xi _ {n} |+| \ eta _ {n} |) = \ sum _ {n} c_ {n} \ mathbb {E} (| \ xi _ {n} |+| \ eta _ {n} |) = {\ text {const}} \ cdot \ sum _ {n} c_ {n} <\ infty,}$ ${\ displaystyle \ sum _ {n} c_ {n} (| \ xi _ {n} |+| \ eta _ {n} |) <\ infty}$ ${\ displaystyle X.}$

Autokorrelasjon av en tilfeldig lacunary Fourier -serie

Dens autokovariasjonsfunksjon

{\ displaystyle \ mathbb {E} X_ {t} X_ {t+h} = \ sum _ {n = 1}^{\ infty} c_ {n}^{2} \ cos \ lambda _ {n} h}

er ingen steder monoton (se bildet), så vel som den tilhørende funksjonen ${\ displaystyle \ sigma,}$

{\ displaystyle \ sigma (h) = {\ sqrt {2 \ mathbb {E} X_ {t} X_ {t} -2 \ mathbb {E} X_ {t} X_ {t+h}}} = 2 {\ sqrt {\ sum _ {n = 1}^{\ infty} c_ {n}^{2} \ sin^{2} {\ frac {\ lambda _ {n} h} {2}}}}.}

Brownsk bevegelse som en integrert del av Gauss -prosesser

En Wiener -prosess (aka Brownian motion) er integralen i en hvit støy -generalisert Gauss -prosess . Den er ikke stasjonær , men den har stasjonære trinn.

Den Ornstein-Uhlenbeck prosess er et stasjonært Gaussisk prosess.

Den Brownske broen er (som Ornstein-Uhlenbeck prosess) et eksempel på en gaussisk prosess som inkluderer trinn er ikke uavhengige .

Den brøkdelte browniske bevegelsen er en gaussisk prosess hvis kovariansfunksjon er en generalisering av Wiener -prosessen.

Driscolls null-en lov

Driscolls null-en-lov er et resultat som karakteriserer prøvefunksjonene som genereres av en Gauss-prosess.

La oss være en Gauss-prosess med gjennomsnittlig null med ikke-negativ bestemt kovariansfunksjon . La oss være en gjengivende kjerne Hilbert -plass med positiv bestemt kjerne . ${\ displaystyle f}$ ${\ displaystyle \ left \ {X_ {t}; t \ in T \ right \}}$ ${\ displaystyle K}$ ${\ displaystyle {\ mathcal {H}} (R)}$ ${\ displaystyle R}$

Deretter

{\ displaystyle \ lim _ {n \ to \ infty} \ operatorname {tr} [K_ {n} R_ {n}^{-1}] <\ infty}

,

hvor og er kovariansmatrisene til alle mulige parpar , innebærer ${\ displaystyle K_ {n}}$ ${\ displaystyle R_ {n}}$ ${\ displaystyle n}$

{\ displaystyle \ Pr [f \ in {\ mathcal {H}} (R)] = 1}

.

Hva mer,

{\ displaystyle \ lim _ {n \ to \ infty} \ operatorname {tr} [K_ {n} R_ {n}^{-1}] = \ infty}

innebærer

{\ displaystyle \ Pr [f \ in {\ mathcal {H}} (R)] = 0}

.

Dette har betydelige implikasjoner når , som ${\ displaystyle K = R}$

{\ displaystyle \ lim _ {n \ to \ infty} \ operatorname {tr} [R_ {n} R_ {n}^{-1}] = \ lim _ {n \ to \ infty} \ operatorname {tr} [ I] = \ lim _ {n \ to \ infty} n = \ infty}

.

Som sådan vil nesten alle prøvebaner for en gjennomsnittlig null Gauss-prosess med positiv bestemt kjerne ligge utenfor Hilbert-rommet . ${\ displaystyle K}$ ${\ displaystyle {\ mathcal {H}} (K)}$

Linjært begrensede Gauss -prosesser

For mange applikasjoner av interesse er det allerede gitt allerede eksisterende kunnskap om systemet. Tenk for eksempel på tilfellet der utgangen fra den gaussiske prosessen tilsvarer et magnetfelt; her er det virkelige magnetfeltet bundet av Maxwells ligninger, og en måte å innlemme denne begrensningen i den gaussiske prosessformalismen ville være ønskelig, da dette sannsynligvis ville forbedre nøyaktigheten til algoritmen.

En metode for hvordan å inkorporere lineære begrensninger i gaussiske prosesser eksisterer allerede:

Tenk på (vektor verdsatt) utgangsfunksjon som er kjent for å følge den lineære begrensningen (dvs. er en lineær operator) ${\ displaystyle f (x)}$ ${\ displaystyle {\ mathcal {F}} _ {X}}$

{\ displaystyle {\ mathcal {F}} _ {X} (f (x)) = 0.}

Da kan begrensningen oppfylles ved å velge , hvor er modellert som en gaussisk prosess, og finne st ${\ displaystyle {\ mathcal {F}} _ {X}}$ ${\ displaystyle f (x) = {\ mathcal {G}} _ {X} (g (x))}$ ${\ displaystyle g (x) \ sim {\ mathcal {GP}} (\ mu _ {g}, K_ {g})}$ ${\ displaystyle {\ mathcal {G}} _ {X}}$

{\ displaystyle {\ mathcal {F}} _ {X} ({\ mathcal {G}} _ {X} (g)) = 0 \ qquad \ forall g.}

Gitt og ved hjelp av det faktum at Gaussiske prosesser er lukket i henhold til lineære transformasjoner, Gauss-prosessen for begrensning adlyde blir ${\ displaystyle {\ mathcal {G}} _ {X}}$ ${\ displaystyle f}$ ${\ displaystyle {\ mathcal {F}} _ {X}}$

{\ displaystyle f (x) = {\ mathcal {G}} _ {X} g \ sim {\ mathcal {GP}} ({\ mathcal {G}} _ {X} \ mu _ {g}, {\ matematikk {G}} _ {X} K_ {g} {\ mathcal {G}} _ {X '}^{T}).}

Derfor kan lineære begrensninger kodes inn i middel- og kovariansfunksjonen til en Gauss -prosess.

applikasjoner

Et eksempel på Gauss prosessregresjon (prediksjon) sammenlignet med andre regresjonsmodeller.

En Gauss -prosess kan brukes som en tidligere sannsynlighetsfordeling over funksjoner i Bayesisk slutning . Gitt et sett av N punkter i det ønskede domenet av funksjonene, ta en multivariat Gaussisk som kovarians- matrise parameter er Gram matrise av de N punktene med noen ønskede kjerne , og prøven fra den Gaussiske. For løsning av multi-output prediksjonsproblemet ble Gauss prosessregresjon for vektor-verdsatt funksjon utviklet. I denne metoden konstrueres en "stor" kovarians, som beskriver korrelasjonene mellom alle input- og output -variablene tatt i N -punkter i ønsket domene. Denne tilnærmingen ble utarbeidet i detalj for de matrisevurderte Gauss-prosessene og generalisert til prosesser med 'tyngre haler' som Student-t-prosesser .

Inferens av kontinuerlige verdier med en tidligere Gauss -prosess er kjent som Gauss -prosessregresjon, eller kriging ; utvide Gauss prosessregresjon til flere målvariabler er kjent som cokriging . Gaussiske prosesser er dermed nyttige som et kraftig ikke-lineært multivariat interpolasjonsverktøy .

Gaussiske prosesser kan for eksempel også brukes i sammenheng med blanding av eksperter. Den underliggende begrunnelsen for et slikt læringsramme består i antagelsen om at en gitt kartlegging ikke godt kan fanges opp av en enkelt gaussisk prosessmodell. I stedet er observasjonsrommet delt inn i undersett, som hver er preget av en annen kartleggingsfunksjon; hver av disse læres via en annen Gauss -prosesskomponent i den postulerte blandingen.

Gaussisk prosessforutsigelse, eller Kriging

Gaussisk prosessregresjon (prediksjon) med en kvadratisk eksponentiell kjerne. Venstre plott er tegninger fra den tidligere funksjonsfordelingen. Midten er tegninger fra det bakre. Høyre er gjennomsnittsprediksjon med ett standardavvik skyggelagt.

Når det gjelder et generelt Gauss -prosessregresjonsproblem (Kriging), antas det at for en Gauss -prosess observert ved koordinater , er vektoren av verdier bare ett utvalg fra en multivariat Gauss -dimensjonsfordeling som er lik antall observerte koordinater . Derfor, under antagelsen om en null-middelfordeling,, hvor er kovariansmatrisen mellom alle mulige par for et gitt sett med hyperparametere θ . Som sådan er logg marginal sannsynlighet: ${\ displaystyle f}$ ${\ displaystyle x}$ ${\ displaystyle f (x)}$ ${\ displaystyle n}$ ${\ displaystyle f (x ') \ sim N (0, K (\ theta, x, x'))}$ ${\ displaystyle K (\ theta, x, x ')}$ ${\ displaystyle (x, x ')}$

{\ displaystyle \ log p (f (x ') \ mid \ theta, x) =-{\ frac {1} {2}} f (x)^{T} K (\ theta, x, x')^ {-1} f (x ')-{\ frac {1} {2}} \ log \ det (K (\ theta, x, x'))-{\ frac {n} {2}} \ log 2 \ pi}

og å maksimere denne marginale sannsynligheten for θ gir den komplette spesifikasjonen av den gaussiske prosessen f . Man kan kort merke på dette tidspunktet at det første uttrykket tilsvarer en strafferamme for en modells manglende evne til å passe observerte verdier og det andre uttrykket til en strafferamme som øker proporsjonalt med en modellens kompleksitet. Etter å ha spesifisert θ , er spådommer om uobserverte verdier ved koordinater x * bare et spørsmål om å trekke prøver fra den prediktive fordelingen der det gjennomsnittlige estimatet A er definert som ${\ displaystyle f (x^{*})}$ ${\ displaystyle p (y^{*} \ mid x^{*}, f (x), x) = N (y^{*} \ mid A, B)}$

{\ displaystyle A = K (\ theta, x^{*}, x) K (\ theta, x, x ')^{-1} f (x)}

og estimatet B for posterior varians er definert som:

{\ displaystyle B = K (\ theta, x^{*}, x^{*})-K (\ theta, x^{*}, x) K (\ theta, x, x ')^{-1 } K (\ theta, x^{*}, x)^{T}}

hvor er kovariansen mellom den nye estimatkoordinaten x * og alle andre observerte koordinater x for en gitt hyperparametervektor θ , og er definert som før og er variansen ved punkt x * som diktert av θ . Det er viktig å merke seg at praktisk talt det bakre gjennomsnittsestimatet ("punktestimatet") bare er en lineær kombinasjon av observasjonene ; på en lignende måte er variansen av faktisk uavhengig av observasjonene . En kjent flaskehals i gaussisk prosessforutsigelse er at beregningskompleksiteten til slutning og sannsynlighetsvurdering er kubikk i antall poeng | x |, og som sådan kan bli umulig for større datasett. Arbeider med sparsomme Gauss -prosesser, som vanligvis er basert på ideen om å bygge et representativt sett for den gitte prosessen f , prøv å omgå dette problemet. Den Kriging Fremgangsmåten kan anvendes i den latente nivået av en ikke-lineær blandet-effekter modell for et romlig funksjonsberegning: denne teknikken er en latent Kriging. ${\ displaystyle K (\ theta, x^{*}, x)}$ ${\ displaystyle K (\ theta, x, x ')}$ ${\ displaystyle f (x)}$ ${\ displaystyle K (\ theta, x^{*}, x^{*})}$ ${\ displaystyle f (x^{*})}$ ${\ displaystyle f (x)}$ ${\ displaystyle f (x^{*})}$ ${\ displaystyle f (x)}$

Bayesiske nevrale nettverk som Gauss -prosesser

Bayesianske nevrale nettverk er en spesiell type Bayesiansk nettverk som resulterer fra å behandle dyp læring og kunstige nevrale nettverksmodeller sannsynlig, og tilordne en tidligere distribusjon til parametrene deres . Beregning i kunstige nevrale nettverk er vanligvis organisert i sekvensielle lag av kunstige nevroner . Antall nevroner i et lag kalles lagbredden. Etter hvert som lagbredden vokser seg, reduseres mange Bayesianske nevrale nettverk til en Gauss -prosess med en lukket formkomponentiell kjerne. Denne Gauss -prosessen kalles Neural Network Gaussian Process (NNGP). Det gjør at spådommer fra bayesiske nevrale nettverk kan evalueres mer effektivt, og gir et analytisk verktøy for å forstå dype læringsmodeller .

Beregningsspørsmål

I praktiske applikasjoner blir Gauss -prosessmodeller ofte evaluert på et rutenett som fører til multivariate normalfordelinger. Å bruke disse modellene for prediksjon eller parameterestimering ved bruk av maksimal sannsynlighet krever evaluering av en multivariat gaussisk tetthet, som innebærer å beregne determinanten og det inverse av kovariansmatrisen. Begge disse operasjonene har kubisk beregningskompleksitet, noe som betyr at selv for rutenett av beskjedne størrelser kan begge operasjonene ha en uoverkommelig beregningskostnad. Denne ulempen førte til utvikling av flere tilnærmingsmetoder .

Se også

Referanser

Eksterne linker

Programvare

GPML: En omfattende Matlab -verktøykasse for fastlegenes regresjon og klassifisering
STK: en liten (Matlab/Octave) verktøykasse for Kriging og GP modellering
Kriging -modul i UQLab -rammeverk (Matlab)
Matlab/oktavfunksjon for stasjonære gaussiske felt
Yelp MOE - En svart boksoptimeringsmotor som bruker Gauss -prosesslæring
ooDACE -En fleksibel objektorientert Kriging Matlab verktøykasse.
GPstuff - Gaussisk prosessverktøykasse for Matlab og Octave
GPy - Et Gauss -prosessrammeverk i Python
GSTools - En geostatistisk verktøykasse, inkludert Gauss prosessregresjon, skrevet i Python
Interaktiv Gauss -prosessregresjonsdemo
Grunnleggende Gaussisk prosessbibliotek skrevet i C ++ 11
scikit-learn -Et maskinlæringsbibliotek for Python som inkluderer Gauss prosessregresjon og klassifisering
[1] - Kriging toolKit (KriKit) er utviklet ved Institute of Bio- and Geosciences 1 (IBG-1) i Forschungszentrum Jülich (FZJ)

Languages

In other projects