Variabile aleatorii schimbabile - Exchangeable random variables

În statistici , o secvență schimbabilă de variabile aleatorii (de asemenea, uneori interschimbabile ) este o secvență X ₁ ,  X ₂ ,  X ₃ , ... (care poate fi finit sau infinit de lungă) a cărei distribuție a probabilității comune nu se modifică atunci când pozițiile din secvență în care apar finit multe dintre ele sunt modificate. Astfel, de exemplu secvențele

${\ displaystyle X_ {1}, X_ {2}, X_ {3}, X_ {4}, X_ {5}, X_ {6} \ quad {\ text {și}} \ quad X_ {3}, X_ { 6}, X_ {1}, X_ {5}, X_ {2}, X_ {4}}$

ambele au aceeași distribuție comună a probabilității.

Este strâns legată de utilizarea variabilelor aleatorii independente și distribuite identic în modelele statistice. Secvențe schimbabile de variabile aleatorii apar în cazuri de eșantionare simplă aleatorie .

Definiție

În mod formal, o secvență schimbabilă de variabile aleatorii este o secvență finită sau infinită X ₁ ,  X ₂ ,  X ₃ , ... a variabilelor aleatorii astfel încât pentru orice permutare finită σ a indicilor 1, 2, 3, ..., ( permutația acționează numai pe mulți indici finit, cu restul fixat), distribuția comună a probabilității secvenței permutate

${\ displaystyle X _ {\ sigma (1)}, X _ {\ sigma (2)}, X _ {\ sigma (3)}, \ dots}$

este aceeași cu distribuția comună a probabilității secvenței originale.

(Se spune că o secvență E ₁ , E ₂ , E ₃ , ... a evenimentelor poate fi schimbată exact dacă secvența funcțiilor sale indicator este schimbabilă.) Funcția de distribuție F _{X 1 , ..., X n} ( x ₁ , ..., x _n ) a unei secvențe finite de variabile aleatorii schimbabile este simetrică în argumentele sale x ₁ , ..., x _n . Olav Kallenberg a furnizat o definiție adecvată a schimbabilității pentru procesele stocastice în timp continuu.

Istorie

Conceptul a fost introdus de William Ernest Johnson în cartea sa din 1924 Logic, Partea III: Fundamentele logice ale științei . Schimbabilitatea este echivalentă cu conceptul de control statistic introdus de Walter Shewhart și în 1924.

Schimbabilitate și modelul statistic iid

Proprietatea schimbului este strâns legată de utilizarea variabilelor aleatorii independente și distribuite identic (iid) în modelele statistice. O secvență de variabile aleatorii care sunt id, condiționată de o formă de distribuție subiacentă, este schimbabilă. Acest lucru rezultă direct din structura distribuției comune a probabilității generate de forma iid.

Amestecurile de secvențe schimbabile (în special, secvențe de variabile iid) sunt schimbabile. Conversația poate fi stabilită pentru secvențe infinite, printr-o importantă teoremă de reprezentare a lui Bruno de Finetti (extinsă ulterior de alți teoreticieni ai probabilității precum Halmos și Savage ). Versiunile extinse ale teoremei arată că, în orice secvență infinită de variabile aleatorii schimbabile, variabilele aleatoare sunt independent condiționate și distribuite identic , dată fiind forma de distribuție subiacentă. Această teoremă este expusă pe scurt mai jos. (Teorema originală a lui De Finetti a arătat că acest lucru este adevărat doar pentru variabilele indicator aleatorii, dar aceasta a fost ulterior extinsă pentru a cuprinde toate secvențele variabilelor aleatorii.) Un alt mod de a pune acest lucru este acela că teorema lui De Finetti caracterizează secvențele schimbabile ca amestecuri de secvențe iid - în timp ce o secvență schimbabilă nu trebuie să fie ea însăși necondiționată iid, ea poate fi exprimată ca un amestec de secvențe iid subiacente.

Aceasta înseamnă că secvențe infinite de variabile aleatorii schimbabile pot fi considerate echivalent ca secvențe de variabile aleatorii condiționate, pe baza unei forme de distribuție subiacente. (Rețineți că această echivalență nu este valabilă pentru schimbarea finită. Cu toate acestea, pentru vectorii finiti ai variabilelor aleatorii există o apropiere apropiată de modelul iid.) O secvență infinită schimbabilă este strict staționară și deci o lege a numărului mare sub forma Se aplică teorema Birkhoff – Khinchin . Aceasta înseamnă că distribuția subiacentă poate primi o interpretare operațională ca distribuție empirică limitativă a secvenței de valori. Relația strânsă dintre secvențele schimbabile ale variabilelor aleatorii și forma iid înseamnă că aceasta din urmă poate fi justificată pe baza schimbului infinit. Această noțiune este esențială pentru dezvoltarea inferenței predictive a lui Bruno de Finetti și pentru statisticile bayesiene . Se poate dovedi, de asemenea, că este o ipoteză fundamentală utilă în statisticile frecventiste și că leagă cele două paradigme.

Teorema reprezentării: Această afirmație se bazează pe prezentarea din O'Neill (2009) în referințele de mai jos. Având în vedere o secvență infinită de variabile aleatorii , definim funcția de distribuție empirică limitativă prin: ${\ displaystyle \ mathbf {X} = (X_ {1}, X_ {2}, X_ {3}, \ ldots)}$ ${\ displaystyle F _ {\ mathbf {X}}}$

${\ displaystyle F _ {\ mathbf {X}} (x) = \ lim _ {n \ to \ infty} {\ frac {1} {n}} \ sum _ {i = 1} ^ {n} I (X_ {i} \ leq x).}$

(Aceasta este limita Cesaro a funcțiilor indicatorului. În cazurile în care limita Cesaro nu există, această funcție poate fi de fapt definită ca limita Banach a funcțiilor indicatorului, care este o extensie a acestei limite. Această ultimă limită există întotdeauna pentru sume funcțiilor indicator, astfel încât distribuția empirică este întotdeauna bine definită.) Aceasta înseamnă că pentru orice vector de variabile aleatorii din secvență avem funcția de distribuție comună dată de:

${\ displaystyle \ Pr (X_ {1} \ leq x_ {1}, X_ {2} \ leq x_ {2}, \ ldots, X_ {n} \ leq x_ {n}) = \ int \ prod _ {i = 1} ^ {n} F _ {\ mathbf {X}} (x_ {i}) \, dP (F _ {\ mathbf {X}}).}$

Dacă funcția de distribuție este indexată de un alt parametru atunci (cu densități definite în mod corespunzător) avem: ${\ displaystyle F _ {\ mathbf {X}}}$${\ displaystyle \ theta}$

${\ displaystyle p_ {X_ {1}, \ ldots, X_ {n}} (x_ {1}, \ ldots, x_ {n}) = \ int \ prod _ {i = 1} ^ {n} p_ {X_ {i}} (x_ {i} \ mid \ theta) \, dP (\ theta).}$

Aceste ecuații arată distribuția comună sau densitatea caracterizată ca o distribuție a amestecului bazată pe distribuția empirică limitativă subiacentă (sau un parametru care indexează această distribuție).

Rețineți că nu toate secvențele interschimbabile finite sunt amestecuri de iid. Pentru a vedea acest lucru, luați în considerare eșantionarea fără înlocuirea dintr-un set finit până când nu rămân elemente. Secvența rezultată este schimbabilă, dar nu un amestec de id. Într-adevăr, condiționată de toate celelalte elemente din secvență, se cunoaște elementul rămas.

Covarianță și corelație

Secvențele schimbabile au unele proprietăți de covarianță și corelație de bază, ceea ce înseamnă că sunt în general corelate pozitiv. Pentru secvențe infinite de variabile aleatorii schimbabile, covarianța dintre variabilele aleatoare este egală cu varianța mediei funcției de distribuție subiacente. Pentru secvențele finite schimbabile, covarianța este, de asemenea, o valoare fixă ​​care nu depinde de variabilele aleatorii particulare din secvență. Există o limită inferioară mai slabă decât pentru schimbarea infinită și este posibil să existe o corelație negativă.

Covarianță pentru secvențe schimbabile (infinit): Dacă secvența este schimbabilă, atunci: ${\ displaystyle X_ {1}, X_ {2}, X_ {3}, \ ldots}$

${\ displaystyle \ operatorname {cov} (X_ {i}, X_ {j}) = \ operatorname {var} (\ operatorname {E} (X_ {i} \ mid F _ {\ mathbf {X}})) = \ operatorname {var} (\ operatorname {E} (X_ {i} \ mid \ theta)) \ geq 0 \ quad {\ text {for}} i \ neq j.}$

Covarianța pentru secvențe schimbabile (finite): Dacă este schimbabilă cu atunci: ${\ displaystyle X_ {1}, X_ {2}, \ ldots, X_ {n}}$${\ displaystyle \ sigma ^ {2} = \ operatorname {var} (X_ {i})}$

${\ displaystyle \ operatorname {cov} (X_ {i}, X_ {j}) \ geq - {\ frac {\ sigma ^ {2}} {n-1}} \ quad {\ text {for}} i \ neq j.}$

Rezultatul secvenței finite poate fi dovedit după cum urmează. Folosind faptul că valorile sunt schimbabile, avem:

${\ displaystyle {\ begin {align} 0 & \ leq \ operatorname {var} (X_ {1} + \ cdots + X_ {n}) \\ & = \ operatorname {var} (X_ {1}) + \ cdots + \ operatorname {var} (X_ {n}) + \ underbrace {\ operatorname {cov} (X_ {1}, X_ {2}) + \ cdots \ quad {}} _ {\ text {toate perechile ordonate}} \ \ & = n \ sigma ^ {2} + n (n-1) \ operatorname {cov} (X_ {1}, X_ {2}). \ end {align}}}$

Putem rezolva apoi inegalitatea pentru covarianța care produce limita inferioară declarată. Non-negativitatea covarianței pentru secvența infinită poate fi apoi obținută ca rezultat limitativ din acest rezultat al secvenței finite.

Egalitatea limitei inferioare pentru secvențe finite se realizează într-un model simplu de urnă: o urnă conține 1 marmură roșie și n  - 1 marmură verde, iar acestea sunt prelevate fără înlocuire până când urna este goală. Fie X _i  = 1 dacă marmura roșie este desenată pe a i -a încercare și 0 în caz contrar. O secvență finită care atinge limita de covarianță inferioară nu poate fi extinsă la o secvență mai lungă schimbabilă.

Exemple

• Orice combinație convexă sau distribuție de amestec a secvențelor iid ale variabilelor aleatorii este schimbabilă. O propoziție inversă este teorema lui De Finetti .
• Să presupunem că o urnă conține n roșu și m marmură albastre. Să presupunem că marmurile sunt trase fără înlocuire până când urna este goală. Fie X _i variabila indicator aleatorie a evenimentului în care i -a marmura desenată este roșie. Atunci { X _i } _{i = 1, ... n + m} este o secvență schimbabilă. Această secvență nu poate fi extinsă la nicio secvență mai schimbabilă.
• Să aibă o distribuție normală bivariată cu parametri , și un arbitrar coeficient de corelație . Variabilele aleatoare și sunt apoi schimbabile, dar independente numai dacă . Funcția de densitate este${\ displaystyle (X, Y)}$${\ displaystyle \ mu = 0}$${\ displaystyle \ sigma _ {x} = \ sigma _ {y} = 1}$ ${\ displaystyle \ rho \ in (-1,1)}$${\ displaystyle X}$${\ displaystyle Y}$${\ displaystyle \ rho = 0}$${\ displaystyle p (x, y) = p (y, x) \ propto \ exp \ left [- {\ frac {1} {2 (1- \ rho ^ {2})}} (x ^ {2} + y ^ {2} -2 \ rho xy) \ right].}$

Aplicații

Von Neumann Extractorul este un extractor de dezordine , care depinde de convertibilitatea: oferă o metodă de a lua o secvență schimbabil de 0s și 1s ( trialuri Bernoulli ), cu o anumită probabilitate p de la 0 și 1, și produce o (mai scurtă) secvența schimbabil de 0s și 1s cu probabilitate 1/2. ${\ displaystyle q = 1-p}$

Împărțiți secvența în perechi care nu se suprapun: dacă cele două elemente ale perechii sunt egale (00 sau 11), aruncați-o; dacă cele două elemente ale perechii sunt inegale (01 sau 10), păstrați primul. Acest lucru dă o succesiune de studii Bernoulli cu cât, prin schimbabilitate, șansele ca o pereche dată să fie 01 sau 10 sunt egale. ${\ displaystyle p = 1/2,}$

Variabile aleatorii schimbabile apar în studiul statisticii U , în special în descompunerea Hoeffding.

Vezi si

• Resamplarea
• Resampling (statistici) § Teste de permutare , teste statistice bazate pe schimbul între grupuri
• Statistică U

Note

Bibliografie

• Aldous, David J., Schimbabilitate și subiecte conexe , în: École d'Été de Probabilités de Saint-Flour XIII - 1983, Lecture Notes in Math. 1117, pp. 1–198, Springer, Berlin, 1985. ISBN  978-3-540-15203-3 doi : 10.1007 / BFb0099421
• Barlow, RE & Irony, TZ (1992) „Fundamentele controlului calității statistice” în Ghosh, M. & Pathak, PK (eds.) Probleme actuale în inferența statistică: Eseuri în onoarea lui D. Basu , Hayward, CA: Institutul de Statistici matematice, 99-112.
• Bergman, B. (2009) „Pragmatism conceptual: un cadru pentru analiza bayesiană?”, Tranzacții IIE , 41 , 86–93
• Borovskikh, Yu. V. (1996).U -statistică în spațiile Banach . Utrecht: VSP. str. xii + 420. ISBN 90-6764-200-2. MR  1419498 .
• Chow, Yuan Shih și Teicher, Henry, teoria probabilităților. Independență, interschimbabilitate, martingale, Springer Texts in Statistics, ed. A III-a, Springer, New York, 1997. xxii + 488 pp.  ISBN  0-387-98228-0
• Diaconis, Persi (2009). „Recenzie de carte: simetrii probabiliste și principii de invarianță (Olav Kallenberg, Springer, New York, 2005)” . Buletinul Societății Americane de Matematică . Noua serie. 46 (4): 691-696. doi : 10.1090 / S0273-0979-09-01262-2 . MR  2525743 .
• Kallenberg, O. , Simetriile probabilistice și principiile invarianței . Springer-Verlag, New York (2005). 510 p.  ISBN  0-387-25115-4 .
• Kingman, JFC, Utilizări de schimb , Ann. Probabilitatea 6 (1978) 83–197 MR 494344 JSTOR  2243211
• O'Neill, B. (2009) Schimbabilitate, corelație și efectul lui Bayes. International Statistical Review 77 (2) , pp. 241-250. ISBN  978-3-540-15203-3 doi : 10.1111 / j.1751-5823.2008.00059.x
• Taylor, Robert Lee; Daffer, Peter Z .; Patterson, Ronald F. (1985). Limitați teoremele pentru sume de variabile aleatorii schimbabile . Rowman și Allanheld. pp. 1–152. ISBN 9780847674350.
• Zabell, SL (1988) „Simetria și nemulțumirile sale”, în Skyrms, B. & Harper, WL Causation, Chance and Credence, pp 155-190, Kluwer
• „Prezicerea imprevizibilului”. Sinteza . 90 (2): 205. 1992. doi : 10.1007 / bf00485351 .