Sampling af omvendt transformation - Inverse transform sampling

Inverse transform-sampling (også kendt som inversion-sampling , den inverse sandsynlighedsintegrale transformation , den inverse transformationsmetode , Smirnov- transformation eller den gyldne regel ) er en grundlæggende metode til stikprøve af pseudo-tilfældigt tal , dvs. til generering af stikprøvenumre tilfældigt fra enhver sandsynlighedsfordeling givet dens kumulative fordelingsfunktion .

Inverse transformation sampling tager ensartede prøver af et tal mellem 0 og 1, fortolket som en sandsynlighed, og returnerer derefter det største antal fra fordelingsdomænet, således at . For eksempel forestille sig, at er standard normal fordeling med middelværdi nul og standardafvigelse én. Nedenstående tabel viser prøver taget fra den ensartede fordeling og deres repræsentation på den normale normalfordeling. ${\ displaystyle u}$${\ displaystyle x}$${\ displaystyle P (X)}$${\ displaystyle P (- \ infty <X <x) \ leq u}$${\ displaystyle P (X)}$

Transformation fra ensartet prøve til normal

${\ displaystyle u}$	${\ displaystyle F ^ {- 1} (u)}$
.5	0
.975	1.95996
.995	2,5758
.999999	4,75342
1-2 -52	8.12589

Inverse transform-sampling til normalfordeling

Vi vælger tilfældigt en andel af arealet under kurven og returnerer nummeret i domænet, så nøjagtigt denne andel af området forekommer til venstre for dette nummer. Intuitivt er det usandsynligt, at vi vælger et tal i den fjerne ende af halerne, fordi der er meget lille område i dem, der kræver valg af et tal meget tæt på nul eller et.

Beregningsmæssigt involverer denne metode beregning af den kvantile funktion af fordelingen - med andre ord, beregning af den kumulative fordelingsfunktion (CDF) af fordelingen (som kortlægger et tal i domænet med en sandsynlighed mellem 0 og 1) og derefter inverterer denne funktion. Dette er kilden til udtrykket "invers" eller "inversion" i de fleste navne til denne metode. Bemærk, at for en diskret distribution er beregning af CDF generelt ikke for vanskelig: vi tilføjer simpelthen de individuelle sandsynligheder for de forskellige punkter i fordelingen. For en kontinuerlig distribution er vi dog nødt til at integrere distributionens sandsynlighedsdensitetsfunktion (PDF), hvilket er umuligt at foretage analytisk for de fleste distributioner (inklusive normalfordelingen ). Som et resultat kan denne metode være beregningsmæssigt ineffektiv for mange distributioner, og andre metoder foretrækkes; det er imidlertid en nyttig metode til at opbygge mere generelt anvendelige prøveudtagere, såsom dem, der er baseret på afvisningssampling .

For normalfordelingen betyder manglen på et analytisk udtryk for den tilsvarende kvantile funktion, at andre metoder (f.eks. Box – Muller-transformationen ) kan foretrækkes beregningsmæssigt. Det er ofte tilfældet, at selv for enkle distributioner kan den omvendte transformationssamplingsmetode forbedres på: se for eksempel ziggurat-algoritmen og afvisningssampling . På den anden side er det muligt at tilnærme den kvantile funktion af normalfordelingen ekstremt nøjagtigt ved hjælp af polynomier med moderat grad, og faktisk er metoden til at gøre dette hurtig nok til, at inversionssampling nu er standardmetoden til sampling fra en normalfordeling i den statistiske pakke R .

Definition

Den sandsynlighed integraltransformation bestemmer, at hvis en kontinuerlig tilfældig variabel med kumulative fordelingsfunktion , så den stokastiske variabel har en ensartet fordeling på [0, 1]. Den inverse sandsynlighedsintegrale transformation er bare den inverse af dette: specifikt hvis har en ensartet fordeling på [0, 1] og hvis har en kumulativ fordeling , så har den tilfældige variabel den samme fordeling som . ${\ displaystyle X}$ ${\ displaystyle F_ {X}}$${\ displaystyle Y = F_ {X} (X)}$${\ displaystyle Y}$${\ displaystyle X}$${\ displaystyle F_ {X}}$${\ displaystyle F_ {X} ^ {- 1} (Y)}$${\ displaystyle X}$

Graf over inversionsteknikken fra til . Nederst til højre ser vi den almindelige funktion og øverst til venstre dens inversion.${\ displaystyle x}$${\ displaystyle F (x)}$

Intuition

Fra , vi ønsker at generere med CDF Vi antager at være en strengt stigende funktion, som giver god intuition. ${\ displaystyle U \ sim \ mathrm {Unif} [0,1]}$${\ displaystyle X}$ ${\ displaystyle F_ {X} (x).}$${\ displaystyle F_ {X} (x)}$

Vi vil se, om vi kan finde en streng monoton transformation , sådan at . Vi vil have ${\ displaystyle T: [0,1] \ mapsto \ mathbb {R}}$${\ displaystyle T (U) {\ overset {d} {=}} X}$

${\ displaystyle F_ {X} (x) = \ Pr (X \ leq x) = \ Pr (T (U) \ leq x) = \ Pr (U \ leq T ^ {- 1} (x)) = T ^ {- 1} (x), {\ text {for}} x \ i \ mathbb {R},}$

hvor det sidste trin bruges, hvornår er ensartet . ${\ displaystyle \ Pr (U \ leq y) = y}$${\ displaystyle U}$${\ displaystyle (0,1)}$

Så vi må være den omvendte funktion af eller ækvivalent${\ displaystyle F_ {X}}$${\ displaystyle T}$${\ displaystyle T (u) = F_ {X} ^ {- 1} (u), u \ i [0,1].}$

Derfor kan vi generere fra${\ displaystyle X}$${\ displaystyle F_ {X} ^ {- 1} (U).}$

Metoden

Skematisk af den omvendte transformationsudtagning. Den inverse funktion af kan defineres ved .${\ displaystyle y = F_ {X} (x)}$${\ displaystyle F_ {X} ^ {- 1} (y) = \ mathrm {inf} \ {x | F_ {X} (x) \ geq y \}}$

En animation af hvordan invers transformation sampling genererer normalt fordelte tilfældige værdier fra ensartede fordelte tilfældige værdier

Problemet, som den omvendte transformationssamplingsmetode løser, er som følger:

• Lad være en tilfældig variabel, hvis fordeling kan beskrives af den kumulative fordelingsfunktion .${\ displaystyle X}$ ${\ displaystyle F_ {X}}$
• Vi ønsker at generere værdier, som fordeles i henhold til denne fordeling.${\ displaystyle X}$

Den inverse transform-prøvetagningsmetode fungerer som følger:

1. Generer et tilfældigt tal ud fra den standard ensartede fordeling i intervallet , f.eks. Fra${\ displaystyle u}$${\ displaystyle [0,1]}$${\ displaystyle U \ sim \ mathrm {Unif} [0,1].}$
2. Find det omvendte af den ønskede CDF, f.eks .${\ displaystyle F_ {X} ^ {- 1} (x)}$
3. Beregn . Den beregnede tilfældige variabel har fordeling .${\ displaystyle X = F_ {X} ^ {- 1} (u)}$${\ displaystyle X}$${\ displaystyle F_ {X} (x)}$

Udtrykt forskelligt, givet en kontinuerlig ensartet variabel i og en inverterbar kumulativ fordelingsfunktion , har den tilfældige variabel fordeling (eller er fordelt ). ${\ displaystyle U}$${\ displaystyle [0,1]}$${\ displaystyle F_ {X}}$${\ displaystyle X = F_ {X} ^ {- 1} (U)}$${\ displaystyle F_ {X}}$${\ displaystyle X}$${\ displaystyle F_ {X}}$

En behandling af sådanne inverse funktioner som objekter, der opfylder differentialligninger, kan gives. Nogle sådanne differentialligninger tillader eksplicitte power series-løsninger på trods af deres ikke-linearitet.

Eksempler

• Antag som et eksempel, at vi har en tilfældig variabel og en kumulativ fordelingsfunktion${\ displaystyle U \ sim \ mathrm {Unif} (0,1)}$

${\ displaystyle {\ begin {align} F (x) = 1- \ exp (- {\ sqrt {x}}) \ end {align}}}$

For at udføre en inversion, vi ønsker at løse for ${\ displaystyle F (F ^ {- 1} (u)) = u}$

${\ displaystyle {\ begin {align} F (F ^ {- 1} (u)) & = u \\ 1- \ exp \ left (- {\ sqrt {F ^ {- 1} (u)}} \ højre) & = u \\ F ^ {- 1} (u) & = (- \ log (1-u)) ^ {2} \\ & = (\ log (1-u)) ^ {2} \ slutning {align}}}$

Herfra ville vi udføre trin et, to og tre.

• Som et andet eksempel bruger vi den eksponentielle fordeling med for x ≥ 0 (og ellers 0). Ved at løse y = F (x) opnår vi den inverse funktion${\ displaystyle F_ {X} (x) = 1-e ^ {- \ lambda x}}$

${\ displaystyle x = F ^ {- 1} (y) = - {\ frac {1} {\ lambda}} \ ln (1-y).}$

Det betyder, at hvis vi trækker nogle fra a og beregner, har dette eksponentiel fordeling.${\ displaystyle y_ {0}}$${\ displaystyle U \ sim \ mathrm {Unif} (0,1)}$${\ displaystyle x_ {0} = F_ {X} ^ {- 1} (y_ {0}) = - {\ frac {1} {\ lambda}} \ ln (1-y_ {0}),}$${\ displaystyle x_ {0}}$

Ideen er illustreret i følgende graf:

Tilfældige tal y _i genereres fra en ensartet fordeling mellem 0 og 1, dvs. Y ~ U (0, 1). De er tegnet som farvede punkter på y-aksen. Hver af punkterne kortlægges i henhold til x = F ⁻¹ (y), som er vist med grå pile for to eksempler. I dette eksempel har vi brugt en eksponentiel fordeling. Derfor er sandsynlighedstætheden for x ≥ 0, og den kumulative fordelingsfunktion er . Derfor . Vi kan se, at ved hjælp af denne metode ender mange punkter tæt på 0, og kun få punkter ender med høje x-værdier - ligesom det forventes for en eksponentiel fordeling.${\ displaystyle \ varrho _ {X} (x) = \ lambda e ^ {- \ lambda \, x}}$${\ displaystyle F (x) = 1-e ^ {- \ lambda \, x}}$${\ displaystyle x = F ^ {- 1} (y) = - {\ frac {\ ln (1-y)} {\ lambda}}}$

Bemærk, at fordelingen ikke ændres, hvis vi starter med 1-y i stedet for y. Til beregningsformål er det derfor tilstrækkeligt at generere tilfældige tal y i [0, 1] og derefter blot beregne

${\ displaystyle x = F ^ {- 1} (y) = - {\ frac {1} {\ lambda}} \ ln (y).}$

Bevis for rigtighed

Lad F være en kontinuerlig kumulativ fordelingsfunktion , og lad F ^-1 være dens inverse funktion (ved hjælp af infimumet, fordi CDF'er er svagt monotone og højre-kontinuerlige ):

${\ displaystyle F ^ {- 1} (u) = \ inf \; \ {x \ mid F (x) \ geq u \} \ qquad (0 <u <1).}$

Krav: Hvis U er en ensartet tilfældig variabel på (0, 1), har F som CDF. ${\ displaystyle F ^ {- 1} (U)}$

Bevis:

${\ displaystyle {\ begin {align} & \ Pr (F ^ {- 1} (U) \ leq x) \\ & {} = \ Pr (U \ leq F (x)) \ quad & ({\ text {gælder}} F, {\ text {til begge sider}}) \\ & {} = F (x) \ quad & ({\ text {fordi}} \ Pr (U \ leq y) = y, {\ tekst {når U er ensartet til}} (0,1)) \\\ slutning {justeret}}}$

Afkortet fordeling

Inverse transform-sampling kan simpelthen udvides til tilfælde af trunkerede distributioner i intervallet uden omkostningerne ved afvisningssampling: den samme algoritme kan følges, men i stedet for at generere et tilfældigt tal jævnt fordelt mellem 0 og 1, generere ensartet fordelt mellem og , og så tag igen . ${\ displaystyle (a, b]}$${\ displaystyle u}$${\ displaystyle u}$${\ displaystyle F (a)}$${\ displaystyle F (b)}$${\ displaystyle F ^ {- 1} (u)}$

Reduktion af antallet af inversioner

For at opnå et stort antal prøver skal man udføre det samme antal inversioner af fordelingen. En mulig måde at reducere antallet af inversioner, mens der opnås et stort antal prøver, er anvendelsen af ​​den såkaldte Stochastic Collocation Monte Carlo sampler (SCMC sampler) inden for en polynomisk kaosudvidelsesramme . Dette giver os mulighed for at generere et vilkårligt antal Monte Carlo-prøver med kun et par inversioner af den oprindelige distribution med uafhængige prøver af en variabel, for hvilken inversionerne er analytisk tilgængelige, for eksempel den normale normale variabel.

Se også

• Sandsynlighed integreret transformation
• Copula , defineret ved hjælp af sandsynlighedsintegral transformation.
• Kvantilfunktion til eksplicit konstruktion af inverse CDF'er.
• Invers fordelingsfunktion til en præcis matematisk definition for distributioner med diskrete komponenter.

Referencer