Podmíněné očekávání - Conditional expectation

V teorii pravděpodobnosti , na podmíněné očekávání , podmíněný očekávané hodnoty , nebo podmíněné střední části náhodné proměnné je její střední hodnota - hodnota, že by se „v průměru“ přes libovolně velký počet výskytů - vzhledem k tomu, že určitý soubor „podmínek“ je známo, že se vyskytuje. Pokud náhodná proměnná může nabývat pouze konečného počtu hodnot, „podmínkami“ jsou, že proměnná může nabývat pouze podmnožiny těchto hodnot. Formálněji, v případě, kdy je náhodná proměnná definována v diskrétním pravděpodobnostním prostoru , jsou „podmínky“ rozdělením tohoto pravděpodobnostního prostoru.

V závislosti na kontextu může být podmíněným očekáváním buď náhodná proměnná, nebo funkce. Náhodná veličina je označena analogicky k podmíněné pravděpodobnosti . Forma funkce je buď označena, nebo je uveden samostatný symbol funkce, který má význam .

Příklady

Příklad 1: Házení kostkami

Zvažte hod férovou kostkou a nechte A = 1, pokud je číslo sudé (tj. 2, 4 nebo 6) a A = 0 jinak. Dále nechme B = 1, pokud je číslo prvočíslo (tj. 2, 3 nebo 5) a B = 0 jinak.

1 2 3 4 5 6
A 0 1 0 1 0 1
B 0 1 1 0 1 0

Bezpodmínečné očekávání A je , ale očekávání A podmíněné B = 1 (tj. Podmíněno tím, že hod kostky je 2, 3 nebo 5) je , a očekávání A podmíněno B = 0 (tj. Podmíněno přičemž hod kostky je 1, 4 nebo 6) je . Podobně očekávání B podmíněno A = 1 je a očekávání B podmíněno A = 0 je .

Příklad 2: Údaje o srážkách

Předpokládejme, že máme denní údaje o srážkách (mm srážek každý den) shromážděné meteorologickou stanicí každý den v desetiletém (3652 – denním) období od 1. ledna 1990 do 31. prosince 1999. Bezpodmínečné očekávání srážek na nespecifikovaný den je průměrem množství srážek za těchto 3652 dní. Podmíněná očekávání dešťových srážek za jinak nespecifikované den je známo, že (podmíněna tím, že) v měsíci březnu, je průměrný denní srážky nad všemi 310 dnů desetiletého období, které spadá v březnu. A podmíněné očekávání srážek podmíněné ve dnech ze dne 2. března je průměrem množství srážek, které se vyskytlo za deset dní s tímto konkrétním datem.

Dějiny

Související koncept podmíněné pravděpodobnosti sahá přinejmenším k Laplaceovi , který vypočítal podmíněné rozdělení. Byl to Andrey Kolmogorov, který jej v roce 1933 formalizoval pomocí Radon -Nikodymovy věty . V pracích Paula Halmose a Josepha L. Dooba z roku 1953 bylo podmíněné očekávání zobecněno na jeho moderní definici pomocí sub-σ-algeber .

Definice

Podmínění událostí

Pokud A je událost s nenulovou pravděpodobností a X je diskrétní náhodná proměnná , podmíněné očekávání X dané A je

kde součet převzat všech možných výsledků X. .

Všimněte si, že pokud , podmíněné očekávání není definováno kvůli dělení nulou.

Diskrétní náhodné proměnné

Pokud X a Y jsou diskrétní náhodné proměnné , podmíněné očekávání X vzhledem k Y je

kde je společný pravděpodobnostní funkce z X a Y . Součet se bere přes všechny možné výstupy X .

Všimněte si, že podmínění na diskrétní náhodné proměnné je stejné jako podmínění na odpovídající události:

kde A je množina .

Spojité náhodné proměnné

Nechť a být spojité náhodné veličiny s jednou společnou hustota je hustota a podmíněné hustotou z dané akce podmíněného očekávání daných IS

Když je jmenovatel nula, výraz je nedefinovaný.

Všimněte si, že podmínění spojitou náhodnou proměnnou není totéž jako podmínění událostí, jako tomu bylo v diskrétním případě. Diskuse najdete v tématu Podmínění událostí s nulovou pravděpodobností . Nerespektování tohoto rozlišení může vést k protichůdným závěrům, jak ukazuje paradox Borel-Kolmogorov .

L 2 náhodné proměnné

Předpokládá se , že všechny náhodné proměnné v této sekci jsou v , tj. Čtvercové integrovatelné . Ve své úplné obecnosti je podmíněné očekávání vyvinuto bez tohoto předpokladu, viz níže v části Podmíněné očekávání s ohledem na sub-σ-algebru . Teorie je však považován za více intuitivní a připouští důležité zobecnění . V kontextu náhodných proměnných se podmíněné očekávání také nazývá regrese .

V následujícím textu se pustíte být pravděpodobnostní prostor, a v s průměr a rozptyl . Očekávání minimalizuje průměrnou čtvercovou chybu :

.

Podmíněné očekávání X je definováno analogicky, kromě toho, že místo jediného čísla bude výsledkem funkce . Nechť je náhodný vektor . Podmíněné očekávání je měřitelná funkce, která

.

Na rozdíl od toho není podmíněné očekávání obecně jedinečné: průměrné čtvercové chyby může být několik minimalizátorů.

Jedinečnost

Příklad 1 : Uvažujme případ, kde Y je konstantní náhodná proměnná, která je vždy 1. Potom je průměrná čtvercová chyba minimalizována jakoukoli funkcí formuláře

Příklad 2 : Uvažujme případ, kde Y je 2-dimenzionální náhodný vektor . Pak jasně

ale pokud jde o funkce, může být vyjádřen jako nebo nebo nekonečně mnoho dalších způsobů. V kontextu lineární regrese se tento nedostatek jedinečnosti nazývá multikolinearita .

Podmíněné očekávání je jedinečné až do sady nula opatření . Opatření používá, je měřítkem pushforward indukované Y .

V prvním příkladu je míra posunu dopředu Diracova distribuce na 1. Ve druhém je soustředěna na „úhlopříčku“ , takže jakákoli množina, která ji neprotíná, má míru 0.

Existence

Existence minimalizátoru pro není triviální. Lze to ukázat

je uzavřený podprostor Hilbertova prostoru . Podle Hilbertovy projekční věty je nezbytnou a dostatečnou podmínkou minimalizace to, že pro všechny v M máme

.

Slovy, tato rovnice říká, že zbytkový je kolmá k vesmírné M všech funkcí Y . Tato podmínka ortogonality aplikovaná na funkce indikátoru je použita níže k rozšíření podmíněného očekávání na případ, že X a Y nejsou nutně in .

Spojení s regresí

Podmíněné očekávání je často aproximováno v aplikované matematice a statistice kvůli obtížím při jeho analytickém výpočtu a pro interpolaci.

Hilbertův podprostor

výše definovaný je nahrazen jeho podmnožinami omezením funkční formy g , spíše než povolením jakékoli měřitelné funkce. Příkladem toho je regrese rozhodovacího stromu, když g vyžaduje jednoduchou funkci , lineární regrese, když g vyžaduje afinitu atd.

Tato zobecnění podmíněného očekávání přicházejí za cenu, že mnoho z jeho vlastností již přestane platit. Například nechť M je prostor všech lineárních funkcí Y a označme toto zobecněné podmíněné očekávání/ projekci. Pokud neobsahuje konstantní funkce , vlastnost tower nebude platit.

Důležitým zvláštním případem je, když jsou X a Y společně normálně rozloženy. V tomto případě lze ukázat, že podmíněné očekávání je ekvivalentní lineární regresi:

pro koeficienty popsané v Multivariační normální rozdělení#Podmíněné rozdělení .

Podmíněné očekávání s ohledem na sub-σ-algebru

Image
Podmíněné očekávání s ohledem na σ-algebru: v tomto případě je pravděpodobnostní prostor intervalem [0,1] s Lebesgueovou mírou . Definujeme následující å-algebry: ; je σ-algebra generovaná intervaly s koncovými body 0, ¼, ½, ¾, 1; a je σ-algebra generovaná intervaly s koncovými body 0, ½, 1. Zde je podmíněné očekávání účinně průměrem nad minimálními sadami σ-algebry.

Zvažte následující:

  • je pravděpodobnostní prostor .
  • je náhodná proměnná v tomto pravděpodobnostním prostoru s konečným očekáváním.
  • je sub σ-algebry z .

Vzhledem k tomu, je sub algebra z funkce je obvykle ne -measurable, tedy existence integrálů formě , kde a je omezení na , nemůže být uvedeno obecně. Místní průměry lze však získat zpět pomocí podmíněného očekávání. Podmíněné očekávání z X vzhledem , označený jako , je jakýkoliv - měřitelná funkce , které vyhovuje:

pro každého .

Jak je uvedeno v diskusi, toto je podmínka ekvivalentní tvrzení, že reziduum je ortogonální k funkcím indikátoru :

Existence

Existenci lze zjistit tím, že for je konečná míra, která je absolutně kontinuální s ohledem na . Pokud je přirozená injekce od do , pak je omezení do a je omezení do . Kromě toho je absolutně kontinuální s ohledem na , protože podmínka

implikuje

Takže máme

kde deriváty jsou Radon -Nikodymovy deriváty opatření.

Podmíněné očekávání s ohledem na náhodnou proměnnou

Zvažte, kromě výše uvedeného,

  • Měřitelný prostor , a
  • Náhodná proměnná .

Podmíněné očekávání X dané Y je definováno použitím výše uvedené konstrukce na σ-algebře generované Y :

.

V Doob-Dynkin lemmatu existuje funkci, tak, že

.

Diskuse

  • Toto není konstruktivní definice; je nám dána pouze požadovaná vlastnost, kterou musí splňovat podmíněné očekávání.
    • Definice události se může podobat definici události, ale jedná se o velmi odlišné objekty. První z nich je -měřitelná funkce , zatímco druhý je prvkem a pro .
    • Jedinečnost lze ukázat jako téměř jistou : to znamená, že verze stejného podmíněného očekávání se budou lišit pouze v sadě nulové pravděpodobnosti .
  • Σ-algebra řídí „granularitu“ kondicionování. Podmíněné očekávání přes jemnější (větší) σ-algebru uchovává informace o pravděpodobnosti větší třídy událostí. Podmíněné očekávání nad hrubší (menší) σ-algebrou průměruje více událostí.

Podmíněná pravděpodobnost

U Borelské podmnožiny B v lze uvažovat o shromažďování náhodných proměnných

.

To může být prokázáno, že tvoří Markov jádro , které je pro téměř všechny , je mírou pravděpodobnosti.

Zákon bezvědomí statistik je pak

.

To ukazuje, že podmíněná očekávání jsou, stejně jako jejich bezpodmínečné protějšky, integrace, proti podmíněnému opatření.

Základní vlastnosti

Všechny následující vzorce je třeba chápat v téměř jistém smyslu. Σ-algebra mohla být nahrazena náhodnou proměnnou , tzn .

  • Vytažení nezávislých faktorů:
    • Pokud je nezávislý na , pak .
Důkaz

Nech . Pak je nezávislý na , takže to chápeme

Definice podmíněného očekávání je tedy podle potřeby splněna konstantní náhodnou proměnnou .

    • Pokud je nezávislý na , pak . Všimněte si toho, že to není nutně případ, pokud je pouze nezávislý na a na .
    • Pokud jsou nezávislí, jsou nezávislí, jsou nezávislí a jsou nezávislí na , pak .
  • Stabilita:
    • Pokud je to -měřitelné, pak .
    • Pokud Z je náhodná proměnná, pak . Ve své nejjednodušší formě to říká .
  • Vytahování známých faktorů:
    • Pokud je to -měřitelné, pak .
    • Pokud Z je náhodná proměnná, pak .
  • Zákon o celkové očekávání : .
  • Vlastnosti věže:
    • Pro sub-σ-algebry máme „stabilitu“ výše .
      • Zvláštním případem je, když Z je -měřitelná náhodná proměnná. Pak a tak .
      • Doob martingale property: the above with ( which is -measurable), and using also , give .
    • Pro náhodné proměnné máme .
    • Pro náhodné proměnné máme .
  • Linearita: máme a pro .
  • Pozitivita: Je-li poté .
  • Monotónnost: Je-li poté .
  • Monotónní konvergence : Pokud ano .
  • Dominantní konvergence : Pokud a s , pak .
  • Fatouovo lemma : Pokud ano .
  • Jensenova nerovnost : Pokud je konvexní funkce , pak .
  • Podmíněný rozptyl : Pomocí podmíněného očekávání můžeme definovat, analogicky s definicí rozptylu jako střední kvadratickou odchylku od průměru, podmíněný rozptyl
    • Definice:
    • Algebraický vzorec pro odchylku:
    • Zákon o celkový rozptyl : .
  • Martingaleova konvergence : Pro náhodnou proměnnou , která má konečné očekávání, máme , je-li buď rostoucí řada sub-σ-algeber, nebo je-li klesající řada sub-σ-algeber a .
  • Podmíněná očekávání as -projection: Pokud jsou v prostoru Hilberta ze čtvercových-integrable reálných náhodných proměnných (reálné náhodné veličiny s konečnou druhou chvíli), pak
    • pro -measurable , máme , tj podmíněné očekávání je ve smyslu
    L 2 ( P ) skalárním PŘÍPRAVKU kolmý průmět z do lineárního podprostoru z -measurable funkcí. (To umožňuje definovat a prokázat existenci podmíněného očekávání na základě Hilbertovy projekční věty .)
  • mapování je vlastní :
  • Kondicionování je smršťovací projekce prostorů L p . Tj. Pro jakékoli p  ≥ 1.
  • Doobova vlastnost podmíněné nezávislosti: Pokud jsou dány podmíněně nezávislé , pak (ekvivalentně ).
  • Viz také

    Pravděpodobnostní zákony

    Poznámky

    Reference

    • William Feller , Úvod do teorie pravděpodobnosti a jejích aplikací , sv. 1, 1950, strana 223
    • Paul A. Meyer, Pravděpodobnost a potenciály , Blaisdell Publishing Co., 1966, strana 28
    • Grimmett, Geoffrey ; Stirzaker, David (2001). Pravděpodobnost a náhodné procesy (3. vyd.). Oxford University Press. ISBN 0-19-857222-0., strany 67–69

    externí odkazy