Aspettativa condizionata - Conditional expectation

Nella teoria della probabilità , l' aspettativa condizionata , il valore atteso condizionato o la media condizionata di una variabile casuale è il suo valore atteso - il valore che assumerebbe "in media" su un numero arbitrariamente grande di occorrenze - dato che un certo insieme di "condizioni" è noto che si verificano. Se la variabile casuale può assumere solo un numero finito di valori, le "condizioni" sono che la variabile può assumere solo un sottoinsieme di quei valori. Più formalmente, nel caso in cui la variabile casuale sia definita su uno spazio di probabilità discreto , le "condizioni" sono una partizione di questo spazio di probabilità.

A seconda del contesto, l'aspettativa condizionale può essere una variabile casuale o una funzione. La variabile casuale è denotata in modo analogo alla probabilità condizionata . La forma della funzione è denotata o un simbolo di funzione separato come viene introdotto con il significato .

Esempi

Esempio 1: lancio dei dadi

Considera il lancio di un dado equilibrato e lascia A = 1 se il numero è pari (cioè 2, 4 o 6) e A = 0 altrimenti. Inoltre, sia B = 1 se il numero è primo (cioè 2, 3 o 5) e B = 0 altrimenti.

1 2 3 4 5 6
UN 0 1 0 1 0 1
B 0 1 1 0 1 0

L'aspettativa incondizionata di A è , ma l'aspettativa di A subordinata a B = 1 (cioè condizionata al fatto che il tiro di dado sia 2, 3 o 5) è , e l'aspettativa di A condizionata a B = 0 (cioè condizionata a il risultato è 1, 4 o 6) è . Allo stesso modo, l'aspettativa di B condizionata da A = 1 è , e l'aspettativa di B condizionata da A = 0 è .

Esempio 2: dati sulle precipitazioni

Supponiamo di avere dati di pioggia giornalieri (mm di pioggia ogni giorno) raccolti da una stazione meteorologica in ogni giorno del periodo di dieci anni (3652 giorni) dal 1 gennaio 1990 al 31 dicembre 1999. L'aspettativa incondizionata di pioggia per un giorno non specificato è la media degli importi delle precipitazioni per quei 3652 giorni. L' aspettativa condizionata di pioggia per un giorno altrimenti non specificato noto per essere (condizionata all'essere) nel mese di marzo, è la media delle precipitazioni giornaliere su tutti i 310 giorni del periodo di dieci anni che cade a marzo. E l'aspettativa condizionata di pioggia condizionata nei giorni datati 2 marzo è la media delle quantità di pioggia che si sono verificate nei dieci giorni con quella data specifica.

Storia

Il relativo concetto di probabilità condizionata risale almeno a Laplace , che calcolava le distribuzioni condizionali. Fu Andrey Kolmogorov che, nel 1933, lo ufficializzò utilizzando il teorema di Radon–Nikodym . Nelle opere di Paul Halmos e Joseph L. Doob del 1953, l'aspettativa condizionale è stata generalizzata alla sua definizione moderna usando sub-σ-algebre .

Definizioni

Condizionamento su un evento

Se A è un evento con probabilità diversa da zero e X è una variabile casuale discreta , l'aspettativa condizionata di X dato A è

dove la somma è presa su tutti i possibili esiti di X .

Nota che se , l'aspettativa condizionale è indefinita a causa della divisione per zero.

Variabili casuali discrete

Se X e Y sono variabili casuali discrete , l'aspettativa condizionata di X dato Y è

dove è la funzione di massa di probabilità congiunta di X e Y . La somma è presa su tutti i possibili esiti di X .

Si noti che il condizionamento su una variabile casuale discreta è lo stesso del condizionamento sull'evento corrispondente:

dove A è l'insieme .

Variabili casuali continue

Sia ed essere variabili casuali continue con densità congiunta e densità condizionata di dato l'evento L'aspettativa condizionata di dato è

Quando il denominatore è zero, l'espressione è indefinita.

Si noti che il condizionamento su una variabile casuale continua non è lo stesso del condizionamento sull'evento come nel caso discreto. Per una discussione, vedere Condizionamento su un evento di probabilità zero . Il mancato rispetto di questa distinzione può portare a conclusioni contraddittorie come illustrato dal paradosso Borel-Kolmogorov .

L 2 variabili casuali

Si presume che tutte le variabili casuali in questa sezione siano in , cioè quadrati integrabili . Nella sua piena generalità, l'aspettativa condizionata è sviluppata senza questa ipotesi, vedi sotto in Aspettativa condizionata rispetto a una sub-σ-algebra . La teoria è, tuttavia, considerata più intuitiva e ammette importanti generalizzazioni . Nel contesto delle variabili casuali, l'aspettativa condizionata è anche chiamata regressione .

In quanto segue sia uno spazio di probabilità, e in con media e varianza . L'aspettativa minimizza l' errore quadratico medio :

.

L'aspettativa condizionata di X è definita in modo analogo, tranne che invece di un singolo numero , il risultato sarà una funzione . Sia un vettore casuale . L'aspettativa condizionata è una funzione misurabile tale che

.

Nota che a differenza di , l'aspettativa condizionale non è generalmente unica: possono esserci più minimi dell'errore quadratico medio.

Unicità

Esempio 1 : Considera il caso in cui Y è la variabile casuale costante che è sempre 1. Quindi l'errore quadratico medio è minimizzato da qualsiasi funzione della forma

Esempio 2 : Consideriamo il caso in cui Y è il vettore casuale bidimensionale . Allora chiaramente

ma in termini di funzioni può essere espresso come o o in infiniti altri modi. Nel contesto della regressione lineare , questa mancanza di unicità è chiamata multicollinearità .

L'aspettativa condizionale è unica fino a un insieme di misura zero in . La misura utilizzata è la misura pushforward indotta da Y .

Nel primo esempio, la misura pushforward è una distribuzione di Dirac a 1. Nel secondo è concentrata sulla "diagonale" , in modo che ogni insieme che non lo interseca ha misura 0.

Esistenza

L'esistenza di un minimizzatore per non è banale. Si può dimostrare che

è un sottospazio chiuso dello spazio di Hilbert . Per il teorema della proiezione di Hilbert , la condizione necessaria e sufficiente per essere un minimo è che per tutto in M abbiamo

.

In parole, questa equazione dice che il residuo è ortogonale allo spazio M di tutte le funzioni di Y . Questa condizione di ortogonalità, applicata alle funzioni indicatrici , viene utilizzata di seguito per estendere l'aspettativa condizionale al caso in cui X e Y non sono necessariamente in .

Connessioni alla regressione

L'aspettativa condizionata è spesso approssimata in matematica applicata e statistica a causa delle difficoltà nel calcolarla analiticamente e per l'interpolazione.

Il sottospazio di Hilbert

definita sopra è sostituita con suoi sottoinsiemi restringendo la forma funzionale di g , piuttosto che consentire qualsiasi funzione misurabile. Esempi di ciò sono la regressione dell'albero decisionale quando si richiede che g sia una funzione semplice , la regressione lineare quando si richiede che g sia affine , ecc.

Queste generalizzazioni dell'aspettativa condizionale vengono a scapito di molte delle sue proprietà che non reggono più. Ad esempio, sia M lo spazio di tutte le funzioni lineari di Y e denotiamo questa aspettativa/ proiezione condizionale generalizzata . Se non contiene le funzioni costanti , la proprietà della torre non manterrà.

Un importante caso speciale è quando X e Y sono distribuiti normalmente congiuntamente. In questo caso si può dimostrare che l'aspettativa condizionata è equivalente alla regressione lineare:

per i coefficienti descritti in Distribuzione normale multivariata#Distribuzioni condizionali .

Aspettativa condizionale rispetto a una sub-σ-algebra

Image
Aspettativa condizionata rispetto ad una σ-algebra: in questo esempio lo spazio di probabilità è l'intervallo [0,1] con la misura di Lebesgue . Definiamo le seguenti -algebre: ; è la σ-algebra generata dagli intervalli con estremi 0, ¼, ½, ¾, 1; ed è la σ-algebra generata dagli intervalli con estremi 0, ½, 1. Qui l'aspettativa condizionata è effettivamente la media sugli insiemi minimi della σ-algebra.

Considera quanto segue:

  • è uno spazio di probabilità .
  • è una variabile casuale su quello spazio di probabilità con aspettativa finita.
  • è una sub -σ-algebra di .

Poiché è una sotto- algebra di , la funzione di solito non è misurabile, quindi l'esistenza degli integrali della forma , dove ed è la restrizione di a , non può essere affermata in generale. Tuttavia, le medie locali possono essere recuperate con l'aiuto dell'aspettativa condizionata. Un atteso condizionato di X proposta , indicato , è qualunque - funzione misurabile che soddisfa:

per ciascuno .

Come notato nella discussione, questa è una condizione equivalente a dire che il residuo sia ortogonale alle funzioni dell'indicatore :

Esistenza

L'esistenza di si può stabilire osservando che for è una misura finita su che è assolutamente continua rispetto a . Se è l' iniezione naturale da a , allora è la restrizione di a ed è la restrizione di a . Inoltre, è assolutamente continua rispetto a , poiché la condizione

implica

Quindi, abbiamo

dove i derivati ​​sono Radon-Nikodym derivati di misure.

Aspettativa condizionata rispetto a una variabile casuale

Si consideri, oltre a quanto sopra,

  • Uno spazio misurabile , e
  • Una variabile casuale .

L'aspettativa condizionata di X dato Y è definita applicando la costruzione precedente alla σ-algebra generata da Y :

.

Per il lemma di Doob-Dynkin esiste una funzione tale che

.

Discussione

  • Questa non è una definizione costruttiva; ci viene semplicemente data la proprietà richiesta che un'aspettativa condizionata deve soddisfare.
    • La definizione di può assomigliare a quella di per un evento ma si tratta di oggetti molto diversi. La prima è una funzione misurabile , mentre la seconda è un elemento di e per .
    • Si può dimostrare che l'unicità è quasi sicura : cioè, le versioni della stessa aspettativa condizionale differiranno solo su un insieme di probabilità zero .
  • La σ-algebra controlla la "granularità" del condizionamento. Un'aspettativa condizionale su una -algebra più fine (più grande) conserva informazioni sulle probabilità di una classe più ampia di eventi. Un'aspettativa condizionata su una -algebra più grossolana (più piccola) fa la media su più eventi.

Probabilità condizionale

Per un sottoinsieme Borel B in , si può considerare la raccolta di variabili casuali

.

Si può dimostrare che formano un kernel Markov , cioè per quasi tutti , è una misura di probabilità.

La legge dello statistico inconscio è quindi

.

Ciò mostra che le aspettative condizionate sono, come le loro controparti incondizionate, integrazioni, contro una misura condizionata.

Proprietà di base

Tutte le formule seguenti sono da intendersi in senso quasi certo. La σ-algebra potrebbe essere sostituita da una variabile casuale , ie .

  • Estrarre fattori indipendenti:
    • Se è indipendente da , allora .
Prova

Lascia . Allora è indipendente da , quindi otteniamo che

Quindi la definizione di aspettativa condizionata è soddisfatta dalla variabile casuale costante , come desiderato.

    • Se è indipendente da , allora . Si noti che questo non è necessariamente il caso se è indipendente solo da e da .
    • Se sono indipendenti, sono indipendenti, è indipendente da ed è indipendente da , allora .
  • Stabilità:
    • Se è misurabile, allora .
    • Se Z è una variabile casuale, allora . Nella sua forma più semplice, questo dice .
  • Estrarre fattori noti:
    • Se è misurabile, allora .
    • Se Z è una variabile casuale, allora .
  • Legge dell'aspettativa totale : .
  • Proprietà della torre:
    • Per le sub-σ-algebre abbiamo , per 'stabilità' sopra .
      • Un caso speciale è quando Z è una variabile casuale misurabile. Allora e così .
      • Proprietà martingala di Doob : quanto sopra con (che è misurabile), e usando anche , dà .
    • Per le variabili casuali abbiamo .
    • Per le variabili casuali abbiamo .
  • Linearità: abbiamo e per .
  • Positività: Se poi .
  • Monotonicità: se allora .
  • Convergenza monotona : Se allora .
  • Convergenza dominata : Se e con , allora .
  • Lemma di Fatou : Se allora .
  • Disuguaglianza di Jensen : Se è una funzione convessa , allora .
  • Varianza condizionale : Utilizzando l'aspettativa condizionata possiamo definire, per analogia con la definizione della varianza come deviazione quadratica media dalla media, la varianza condizionale
    • Definizione:
    • Formula algebrica per la varianza:
    • Legge della varianza totale : .
  • Convergenza Martingale : Per una variabile casuale , che ha un'aspettativa finita, abbiamo , se o è una serie crescente di sub-σ-algebre e o se è una serie decrescente di sub-σ-algebre e .
  • Aspettativa condizionata come -proiezione: se sono nello spazio di Hilbert delle variabili casuali reali integrabili al quadrato (variabili casuali reali con momento secondo finito) allora
    • per -misurabile , abbiamo , cioè l'aspettativa condizionata è nel senso del prodotto scalare
    L 2 ( P ) la proiezione ortogonale da al sottospazio lineare delle funzioni -misurabili. (Ciò permette di definire e dimostrare l'esistenza dell'aspettativa condizionata basata sul teorema della proiezione di Hilbert .)
  • la mappatura è autoaggiunta :
  • Il condizionamento è una proiezione contrattiva di L p spazi . Cioè, per ogni p  ≥ 1.
  • Proprietà di indipendenza condizionale di Doob: Se sono condizionalmente indipendenti dati , allora (equivalentemente, ).
  • Guarda anche

    Leggi di probabilità

    Appunti

    Riferimenti

    • William Feller , Introduzione alla teoria della probabilità e alle sue applicazioni , vol 1, 1950, pagina 223
    • Paul A. Meyer, Probabilità e potenzialità , Blaisdell Publishing Co., 1966, pagina 28
    • Grimmett, Geoffrey ; Stirzaker, David (2001). Probabilità e processi casuali (3a ed.). La stampa dell'università di Oxford. ISBN 0-19-857222-0., pagine 67–69

    link esterno