Tilfeldig beslutningsregel - Randomised decision rule

I statistisk beslutningsteori er en randomisert beslutningsregel eller blandet beslutningsregel en beslutningsregel som forbinder sannsynligheter med deterministiske beslutningsregler. I begrensede beslutningsproblemer definerer randomiserte beslutningsregler et risikosett som er det konvekse skroget til risikopunktene til de ikke -randomiserte beslutningsreglene.

Ettersom det ikke alltid finnes randomiserte alternativer til randomiserte Bayes -regler, er det ikke nødvendig med randomisering i bayesiansk statistikk , selv om hyppig statistisk teori noen ganger krever bruk av randomiserte regler for å tilfredsstille optimalitetsforhold som minimax , særlig når man utleder konfidensintervaller og hypotesetester om diskrete sannsynlighetsfordelinger .

Definisjon og tolkning

La oss være et sett med ikke-randomiserte beslutningsregler med tilhørende sannsynligheter . Deretter er den randomiserte beslutningsregelen definert som og den tilhørende risikofunksjonen er . Denne regelen kan behandles som et tilfeldig eksperiment der avgjørelsesreglene velges med henholdsvis sannsynlighet . ${\ displaystyle {\ mathcal {D}} = \ {d_ {1}, d_ {2} ..., d_ {h} \}}$${\ displaystyle p_ {1}, p_ {2}, ..., p_ {h}}$${\ displaystyle d^{*}}$${\ displaystyle \ sum _ {i = 1}^{h} p_ {i} d_ {i}}$ ${\ displaystyle R (\ theta, d^{*})}$${\ displaystyle \ sum _ {i = 1}^{h} p_ {i} R (\ theta, d_ {i})}$${\ displaystyle d_ {1}, ..., d_ {h} \ in {\ mathcal {D}}}$${\ displaystyle p_ {1}, ... p_ {h}}$

Alternativt kan en randomisert beslutningsregel tildele sannsynligheter direkte på elementer i handlingsrommet for hvert medlem av prøveområdet. Mer formelt angir sannsynligheten for at en handling er valgt. Under denne tilnærmingen, sin tapsfunksjonen er også definert direkte som: . ${\ displaystyle {\ mathcal {A}}}$${\ displaystyle d^{*} (x, A)}$${\ displaystyle a \ i {\ mathcal {A}}}$${\ displaystyle \ int _ {A \ i {\ mathcal {A}}} d^{*} (x, A) L (\ theta, A) dA}$

Innføringen av randomiserte beslutningsregler skaper dermed et større beslutningsrom som statistikeren kan velge sin beslutning fra. Ettersom ikke-randomiserte beslutningsregler er et spesielt tilfelle av randomiserte beslutningsregler der en avgjørelse eller handling har sannsynlighet 1, er det opprinnelige beslutningsområdet en riktig delmengde av det nye beslutningsområdet . ${\ displaystyle {\ mathcal {D}}}$${\ displaystyle {\ mathcal {D}}^{*}}$

Valg av randomiserte beslutningsregler

De ekstreme punktene i risikosettet, angitt med tomme sirkler, tilsvarer ikke -randomiserte beslutningsregler, mens de tykke linjene angir de tillatte beslutningsreglene.

Som med ikke -randomiserte beslutningsregler, kan randomiserte beslutningsregler tilfredsstille gunstige egenskaper som tillatelse, minimaksitet og Bayes. Dette skal illustreres i tilfelle av et endelig beslutningsproblem, dvs. et problem der parameterrommet er et begrenset sett med, si, elementer. Risikosettet, fremover betegnet som , er settet til alle vektorer der hver oppføring er verdien av risikofunksjonen knyttet til en randomisert beslutningsregel under en bestemt parameter: den inneholder alle vektorer i skjemaet . Vær oppmerksom på at ved definisjonen av den randomiserte beslutningsregelen er risikosettet det konvekse skroget av risikoene . ${\ displaystyle k}$${\ displaystyle {\ mathcal {S}}}$${\ displaystyle (R (\ theta _ {1}, d^{*}), ... R (\ theta _ {k}, d^{*})), d^{*} \ i {\ mathcal {D}}^{*}}$${\ displaystyle (R (\ theta _ {1}, d), ... R (\ theta _ {k}, d)), d \ in {\ mathcal {D}}}$

I det tilfelle hvor parameterrommet bare har to elementer og utgjør dette en undergruppe av , slik at det kan trekkes i forhold til koordinataksene og som svarer til de risikoer i følge og hhv. Et eksempel er vist til høyre. ${\ displaystyle \ theta _ {1}}$${\ displaystyle \ theta _ {2}}$${\ displaystyle \ mathbb {R} ^{2}}$${\ displaystyle R_ {1}}$${\ displaystyle R_ {2}}$${\ displaystyle \ theta _ {1}}$${\ displaystyle \ theta _ {2}}$

Tillatelse

En godkjent beslutningsregel er en som ikke er dominert av noen annen beslutningsregel, det vil si at det ikke er noen beslutningsregel som har lik risiko som eller lavere risiko enn den for alle parametere og strengt lavere risiko enn den for noen parameter. I et endelig beslutningsproblem har risikopunktet for en godkjent beslutningsregel enten lavere x-koordinater eller y-koordinater enn alle andre risikopunkter, eller mer formelt sett er det settet med regler med risikopunkter i formen slik at . Dermed er venstre side av den nedre grensen for risikosettet settet med tillatte beslutningsregler. ${\ displaystyle (a, b)}$${\ displaystyle \ {(R_ {1}, R_ {2}): R_ {1} \ leq a, R_ {2} \ leq b \} \ cap {\ mathcal {S}} = (a, b)}$

Minimaks

En minimax Bayes -regel er en som minimerer overordnet risiko blant alle beslutningsregler i . Noen ganger kan en randomisert beslutningsregel utføre bedre enn alle andre ikke -randomiserte beslutningsregler i denne forbindelse. ${\ displaystyle \ sup _ {\ theta \ in \ Theta} R (\ theta, d^{*})}$${\ displaystyle {\ mathcal {D}}^{*}}$

I et endelig beslutningsproblem med to mulige parametere kan minimax -regelen bli funnet ved å vurdere firkantfamilien . Verdien av for den minste av slike firkanter som berører er minimax -risikoen, og det tilsvarende punktet eller punktene på risikosettet er minimax -regelen. ${\ displaystyle Q (c) = \ {(R_ {1}, R_ {2}): 0 \ leq R_ {1} \ leq c, 0 \ leq R_ {2} \ leq c \}}$${\ displaystyle c}$${\ displaystyle {\ mathcal {S}}}$

Hvis risikosettet krysser linjen , er den tillatte beslutningsregelen som ligger på linjen minimaks. Hvis eller holder for hvert punkt i risikosettet, kan minimax -regelen enten være et ekstrempunkt (dvs. en ikke -randomisert beslutningsregel) eller en linje som forbinder to ekstreme punkter (ikke -randomiserte beslutningsregler). ${\ displaystyle R_ {1} = R_ {2}}$${\ displaystyle R_ {2}> R_ {1}}$${\ displaystyle R_ {1}> R_ {2}}$

• 

  Minimax -regelen er den randomiserte beslutningsregelen . ${\ displaystyle (1-p) d_ {1}+pd_ {2}}$

• 

  Minimax -regelen er . ${\ displaystyle d_ {2}}$

• 

  MiniMax reglene er alle regler for form , . ${\ displaystyle (1-p) d_ {1}+pd_ {2}}$${\ displaystyle 0 \ leq p \ leq 1}$

Bayes

En randomisert Bayes -regel er en som har minimal Bayes -risiko blant alle beslutningsregler. I det spesielle tilfellet der parameterrommet har to elementer, er linjen , hvor og angir de tidligere sannsynlighetene for og henholdsvis, en familie av poeng med Bayes -risiko . Minste Bayes -risiko for beslutningsproblemet er derfor den minste slik at linjen berører risikosettet. Denne linjen kan enten berøre bare ett ekstrempunkt i risikosettet, dvs. svare til en ikke -randomisert beslutningsregel, eller overlappe med en hel side av risikosettet, dvs. svare til to ikke -randomiserte beslutningsregler og randomiserte beslutningsregler som kombinerer de to. Dette illustreres av de tre situasjonene nedenfor: ${\ displaystyle r (\ pi, d^{*})}$${\ displaystyle \ pi _ {1} R_ {1}+(1- \ pi _ {1}) R_ {2} = c}$${\ displaystyle \ pi _ {1}}$${\ displaystyle \ pi _ {2}}$${\ displaystyle \ theta _ {1}}$${\ displaystyle \ theta _ {2}}$${\ displaystyle c}$${\ displaystyle c}$

• 

  Bayes reglene er det sett av beslutningsregler på formen , . ${\ displaystyle (1-p) d_ {1}+pd_ {2}}$${\ displaystyle 0 \ leq p \ leq 1}$

• 

  Bayes -regelen er . ${\ displaystyle d_ {1}}$

• 

  Bayes -regelen er . ${\ displaystyle d_ {2}}$

Ettersom forskjellige priors resulterer i forskjellige bakker, er settet med alle reglene som er Bayes med hensyn til noen tidligere det samme som settet med tillatte regler.

Vær oppmerksom på at det ikke er mulig at en ikke -randomisert Bayes -regel ikke eksisterer, men en randomisert Bayes -regel gjør det. Eksistensen av en randomisert Bayes -regel innebærer eksistensen av en ikke -randomisert Bayes -regel. Dette er også sant i det generelle tilfellet, selv med uendelig parameterplass, uendelig Bayes -risiko, og uansett om infimum Bayes -risiko kan oppnås. Dette støtter den intuitive forestillingen om at statistikeren ikke trenger å bruke randomisering for å komme til statistiske beslutninger.

I praksis

Siden randomiserte Bayes -regler alltid har ikke -randomiserte alternativer, er de unødvendige i Bayesiansk statistikk . I hyppig statistikk er imidlertid randomiserte regler teoretisk nødvendig under visse situasjoner, og de ble antatt å være nyttige i praksis da de først ble oppfunnet: Egon Pearson spådde at de 'ikke vil møte sterk innvending'. Imidlertid er det få statistikere som faktisk implementerer dem i dag.

Tilfeldig test

Randomiserte tester bør ikke forveksles med permutasjonstester .

I den vanlige formuleringen av sannsynlighetsforholdstesten blir nullhypotesen avvist når sannsynlighetsforholdet er mindre enn noen konstant , og akseptert på annen måte. Imidlertid er dette noen ganger problematisk når det er diskret under nullhypotesen, når det er mulig. ${\ displaystyle \ Lambda}$${\ displaystyle K}$${\ displaystyle \ Lambda}$${\ displaystyle \ Lambda = K}$

En løsning er å definere en testfunksjon , hvis verdi er sannsynligheten for at nullhypotesen aksepteres: ${\ displaystyle \ phi (x)}$

${\ displaystyle \ phi (x) = \ left \ {{\ begin {array} {l} 1 & {\ text {if}} \ Lambda> K \\ p (x) & {\ text {if}} \ Lambda = K \\ 0 og {\ text {if}} \ Lambda <K \ end {array}} \ høyre.}$

Dette kan tolkes som å snu en partisk mynt med sannsynlighet for å returnere hoder når som helst og avvise nullhypotesen hvis et hode dukker opp. ${\ displaystyle p (x)}$${\ displaystyle \ Lambda = k}$

En generalisert form for Neyman - Pearson -lemmaet sier at denne testen har maksimal effekt blant alle tester på samme signifikansnivå , at en slik test må eksistere for ethvert signifikansnivå , og at testen er unik under normale situasjoner. ${\ displaystyle \ alpha}$${\ displaystyle \ alpha}$

Som et eksempel kan du vurdere tilfellet der den underliggende fordelingen er Bernoulli med sannsynlighet , og vi vil teste nullhypotesen mot den alternative hypotesen . Det er naturlig å velge noen slike , og avvise null når , hvor er teststatistikken. For å ta hensyn til tilfeller der vi definerer testfunksjonen: ${\ displaystyle p}$${\ displaystyle p \ leq \ lambda}$${\ displaystyle p> \ lambda}$${\ displaystyle k}$${\ displaystyle P ({\ hat {p}}> k | H_ {0}) = \ alfa}$${\ displaystyle {\ hat {p}}> k}$${\ displaystyle {\ hat {p}}}$${\ displaystyle {\ hat {p}} = k}$

${\ displaystyle \ phi (x) = \ left \ {{\ begin {array} {l} 1 og {\ text {if}} {\ hat {p}}> k \\\ gamma og {\ text {if} } {\ hat {p}} = k \\ 0 og {\ text {if}} {\ hat {p}} <k \ end {array}} \ høyre.}$

hvor er valgt slik at . ${\ displaystyle \ gamma}$${\ displaystyle P ({\ hat {p}}> k | H_ {0})+\ gamma P ({\ hat {p}} = k | H_ {0}) = \ alpha}$

Randomiserte konfidensintervaller

Et analogt problem oppstår i konstruksjonen av konfidensintervaller. For eksempel er Clopper-Pearson-intervallet alltid konservativt på grunn av den diskrete naturen til binomialfordelingen. Et alternativ er å finne de øvre og nedre konfidensgrensene og ved å løse følgende ligninger: ${\ displaystyle U}$${\ displaystyle L}$

${\ displaystyle \ left \ {{\ begin {array} {l} Pr ({\ hat {p}} <k | p = U)+\ gamma P ({\ hat {p}} = k | p = U ) & = \ alpha /2 \\ Pr ({\ hat {p}}> k | p = L)+\ gamma P ({\ hat {p}} = k | p = L) & = \ alpha /2 \ end {array}} \ right.}$

hvor er en jevn tilfeldig variabel på (0, 1). ${\ displaystyle \ gamma}$

Se også

• Blandet strategi
• Lineær programmering

Fotnoter

Bibliografi

• Agresti, Alan; Gottard, Anna (2005). "Kommentar: Randomiserte konfidensintervaller og Mid-P-tilnærmingen" (PDF) . Statistisk vitenskap . 5 (4): 367–371. doi : 10.1214/088342305000000403 .
• Bickel, Peter J .; Doksum, Kjell A. (2001). Matematisk statistikk: grunnleggende ideer og utvalgte emner (2. utg.). Upper Saddle River, NJ: Prentice-Hall. ISBN 978-0138503635.
• DeGroot, Morris H. (2004). Optimale statistiske beslutninger . Hoboken, NJ: Wiley-Interscience. ISBN 978-0471680291.
• Parmigiani, Giovanni; Inoue, Lurdes YT (2009). Beslutningsteori: prinsipper og tilnærminger . Chichester, West Sussex: John Wiley and Sons. ISBN 9780470746684.
• Robert, Christian P (2007). Det bayesiske valget: fra beslutningsteoretiske grunnlag til beregningsimplementering . New York: Springer. ISBN 9780387715988.
• Young, GA; Smith, RL (2005). Essentials of Statistical Inference . Cambridge: Cambridge University Press. ISBN 9780521548663.