Campionamento in trasformata inversa - Inverse transform sampling

Metodo dell'inversione (noto anche come campionamento inversione , la probabilità integrale trasformata inversa , il metodo trasformazione inversa , Smirnov trasformare , o la regola d'oro ) è un metodo di base per pseudo-casuale numero di campionamento , cioè, per generare numeri di esempio in caso di qualsiasi distribuzione di probabilità data la sua funzione di distribuzione cumulativa .

Il campionamento della trasformazione inversa prende campioni uniformi di un numero compreso tra 0 e 1, interpretato come una probabilità, quindi restituisce il numero più grande dal dominio della distribuzione tale che . Ad esempio, immagina che sia la distribuzione normale standard con media zero e deviazione standard uno. La tabella seguente mostra campioni presi dalla distribuzione uniforme e la loro rappresentazione sulla distribuzione normale standard. ${\displaystyle u}$${\displaystyle x}$${\displaystyle P(X)}$${\displaystyle P(-\infty <X<x)\leq u}$${\displaystyle P(X)}$

Trasformazione da campione uniforme a normale

${\displaystyle u}$	${\displaystyle F^{-1}(u)}$
.5	0
.975	1.95996
.995	2.5758
.999999	4.75342
1-2 -52	8.12589

Campionamento con trasformata inversa per distribuzione normale

Scegliamo casualmente una proporzione dell'area sotto la curva e restituiamo il numero nel dominio in modo tale che esattamente questa proporzione dell'area si trovi a sinistra di quel numero. Intuitivamente, è improbabile che scegliamo un numero all'estremità delle code perché c'è un'area molto piccola in esse che richiederebbe la scelta di un numero molto vicino a zero o uno.

Computazionalmente, questo metodo prevede il calcolo della funzione quantile della distribuzione, in altre parole, il calcolo della funzione di distribuzione cumulativa (CDF) della distribuzione (che mappa un numero nel dominio con una probabilità compresa tra 0 e 1) e quindi l'inversione di tale funzione. Questa è la fonte del termine "inverso" o "inversione" nella maggior parte dei nomi di questo metodo. Si noti che per una distribuzione discreta , il calcolo del CDF non è in generale troppo difficile: si sommano semplicemente le probabilità individuali per i vari punti della distribuzione. Per una distribuzione continua , invece, occorre integrare la funzione di densità di probabilità (PDF) della distribuzione, cosa impossibile da fare analiticamente per la maggior parte delle distribuzioni (compresa la distribuzione normale ). Di conseguenza, questo metodo può essere computazionalmente inefficiente per molte distribuzioni e si preferiscono altri metodi; tuttavia, è un metodo utile per costruire campionatori più generalmente applicabili come quelli basati sul campionamento del rifiuto .

Per la distribuzione normale , la mancanza di un'espressione analitica per la corrispondente funzione quantile significa che altri metodi (es. la trasformata di Box–Muller ) possono essere preferiti computazionalmente. Accade spesso che, anche per distribuzioni semplici, il metodo di campionamento della trasformata inversa possa essere migliorato: si veda, ad esempio, l' algoritmo ziggurat e il campionamento del rifiuto . D'altra parte, è possibile approssimare la funzione quantile della distribuzione normale in modo estremamente accurato utilizzando polinomi di grado moderato, e infatti il ​​metodo per farlo è abbastanza veloce che il campionamento inverso è ora il metodo predefinito per il campionamento da una distribuzione normale nel pacchetto statistico R .

Definizione

La trasformazione integrale di probabilità afferma che se è una variabile casuale continua con funzione di distribuzione cumulativa , allora la variabile casuale ha una distribuzione uniforme su [0, 1]. La trasformazione integrale di probabilità inversa è solo l'inverso di questa: in particolare, se ha una distribuzione uniforme su [0, 1] e se ha una distribuzione cumulativa , allora la variabile casuale ha la stessa distribuzione di . ${\displaystyle X}$ ${\displaystyle F_{X}}$${\displaystyle Y=F_{X}(X)}$${\displaystyle Y}$${\displaystyle X}$${\displaystyle F_{X}}$${\displaystyle F_{X}^{-1}(Y)}$${\displaystyle X}$

Grafico della tecnica di inversione da a . In basso a destra vediamo la funzione regolare e in alto a sinistra la sua inversione.${\displaystyle x}$${\displaystyle F(x)}$

Intuizione

Da , vogliamo generare con CDF Assumiamo essere una funzione strettamente crescente, che fornisce una buona intuizione. ${\displaystyle U\sim \mathrm {Unif} [0,1]}$${\displaystyle X}$ ${\displaystyle F_{X}(x).}$${\displaystyle F_{X}(x)}$

Vogliamo vedere se possiamo trovare qualche trasformazione strettamente monotona , tale che . Avremo ${\displaystyle T:[0,1]\mapsto \mathbb {R} }$${\displaystyle T(U){\overset {d}{=}}X}$

${\displaystyle F_{X}(x)=\Pr(X\leq x)=\Pr(T(U)\leq x)=\Pr(U\leq T^{-1}(x))=T ^{-1}(x),{\text{ per }}x\in \mathbb {R} ,}$

dove l'ultimo passaggio ha usato quello quando è uniforme su . ${\displaystyle \Pr(U\leq y)=y}$${\displaystyle U}$${\displaystyle (0,1)}$

Quindi dobbiamo essere la funzione inversa di , o, equivalentemente${\displaystyle F_{X}}$${\displaystyle T}$${\displaystyle T(u)=F_{X}^{-1}(u),u\in [0,1].}$

Pertanto, possiamo generare da${\displaystyle X}$${\displaystyle F_{X}^{-1}(U).}$

Il metodo

Schema del campionamento della trasformata inversa. La funzione inversa di può essere definita da .${\displaystyle y=F_{X}(x)}$${\displaystyle F_{X}^{-1}(y)=\mathrm {inf} \{x|F_{X}(x)\geq y\}}$

Un'animazione di come il campionamento con trasformata inversa genera valori casuali normalmente distribuiti da valori casuali uniformemente distribuiti

Il problema che risolve il metodo di campionamento della trasformata inversa è il seguente:

• Sia una variabile casuale la cui distribuzione può essere descritta dalla funzione di distribuzione cumulativa .${\displaystyle X}$ ${\displaystyle F_{X}}$
• Vogliamo generare valori i cui valori sono distribuiti secondo questa distribuzione.${\displaystyle X}$

Il metodo di campionamento della trasformazione inversa funziona come segue:

1. Genera un numero casuale dalla distribuzione uniforme standard nell'intervallo , ad esempio da${\displaystyle u}$${\displaystyle [0,1]}$${\displaystyle U\sim \mathrm {Unif} [0,1].}$
2. Trova l'inverso del CDF desiderato, ad es .${\displaystyle F_{X}^{-1}(x)}$
3. Calcola . La variabile casuale calcolata ha distribuzione .${\displaystyle X=F_{X}^{-1}(u)}$${\displaystyle X}$${\displaystyle F_{X}(x)}$

Espressa diversamente, data una variabile continua uniforme in e una funzione di distribuzione cumulativa invertibile , la variabile casuale ha distribuzione (o, è distribuita ). ${\displaystyle U}$${\displaystyle [0,1]}$${\displaystyle F_{X}}$${\displaystyle X=F_{X}^{-1}(U)}$${\displaystyle F_{X}}$${\displaystyle X}$${\displaystyle F_{X}}$

Si può dare una trattazione di tali funzioni inverse come oggetti che soddisfano equazioni differenziali. Alcune di queste equazioni differenziali ammettono soluzioni esplicite in serie di potenze, nonostante la loro non linearità.

Esempi

• Ad esempio, supponiamo di avere una variabile casuale e una funzione di distribuzione cumulativa${\displaystyle U\sim \mathrm {Unif} (0,1)}$

${\displaystyle {\begin{allineato}F(x)=1-\exp(-{\sqrt {x}})\end{allineato}}}$

Per eseguire un'inversione vogliamo risolvere per ${\displaystyle F(F^{-1}(u))=u}$

${\displaystyle {\begin{allineato}F(F^{-1}(u))&=u\\1-\exp \left(-{\sqrt {F^{-1}(u)}}\ destra)&=u\\F^{-1}(u)&=(-\log(1-u))^{2}\\&=(\log(1-u))^{2}\ fine{allineato}}}$

Da qui eseguiremo i passaggi uno, due e tre.

• Come altro esempio, usiamo la distribuzione esponenziale con for x ≥ 0 (e 0 altrimenti). Risolvendo y=F(x) otteniamo la funzione inversa${\displaystyle F_{X}(x)=1-e^{-\lambda x}}$

${\displaystyle x=F^{-1}(y)=-{\frac {1}{\lambda }}\ln(1-y).}$

Significa che se ne traiamo un po' da a e calcoliamo This ha distribuzione esponenziale.${\displaystyle y_{0}}$${\displaystyle U\sim \mathrm {Unif} (0,1)}$${\displaystyle x_{0}=F_{X}^{-1}(y_{0})=-{\frac {1}{\lambda }}\ln(1-y_{0}),}$${\displaystyle x_{0}}$

L'idea è illustrata nel grafico seguente:

I numeri casuali y _i sono generati da una distribuzione uniforme tra 0 e 1, cioè Y ~ U(0, 1). Sono disegnati come punti colorati sull'asse y. Ciascuno dei punti è mappato secondo x=F ⁻¹ (y), che è mostrato con frecce grigie per due punti di esempio. In questo esempio, abbiamo usato una distribuzione esponenziale. Quindi, per x ≥ 0, la densità di probabilità è e la funzione di distribuzione cumulativa è . Pertanto, . Possiamo vedere che usando questo metodo, molti punti finiscono vicino a 0 e solo pochi punti finiscono per avere valori x elevati, proprio come ci si aspetta per una distribuzione esponenziale.${\displaystyle \varrho _{X}(x)=\lambda e^{-\lambda \,x}}$${\displaystyle F(x)=1-e^{-\lambda \,x}}$${\displaystyle x=F^{-1}(y)=-{\frac {\ln(1-y)}{\lambda }}}$

Nota che la distribuzione non cambia se iniziamo con 1-y invece di y. Per scopi computazionali, è quindi sufficiente generare numeri casuali y in [0, 1] e quindi calcolare semplicemente

${\displaystyle x=F^{-1}(y)=-{\frac {1}{\lambda }}\ln(y).}$

Prova di correttezza

Sia F una funzione di distribuzione cumulativa continua e sia F ^{−1 la} sua funzione inversa (usando l' infimum perché le CDF sono debolmente monotone e continue a destra ):

${\displaystyle F^{-1}(u)=\inf \;\{x\mid F(x)\geq u\}\qquad (0<u<1).}$

Affermazione: se U è una variabile casuale uniforme su (0, 1) allora ha F come CDF. ${\displaystyle F^{-1}(U)}$

Prova:

${\displaystyle {\begin{allineato}&\Pr(F^{-1}(U)\leq x)\\&{}=\Pr(U\leq F(x))\quad &({\text {applicando }}F,{\text{ su entrambi i lati}})\\&{}=F(x)\quad &({\text{perché }}\Pr(U\leq y)=y,{\ text{ quando U è uniforme su}}(0,1))\\\end{allineato}}}$

Distribuzione troncata

Il campionamento con trasformata inversa può essere semplicemente esteso ai casi di distribuzioni troncate sull'intervallo senza il costo del campionamento di rigetto: si può seguire lo stesso algoritmo, ma invece di generare un numero casuale uniformemente distribuito tra 0 e 1, generare uniformemente distribuito tra e , e poi di nuovo prendi . ${\displaystyle (a,b]}$${\displaystyle u}$${\displaystyle u}$${\displaystyle F(a)}$${\displaystyle F(b)}$${\displaystyle F^{-1}(u)}$

Riduzione del numero di inversioni

Per ottenere un numero elevato di campioni, è necessario eseguire lo stesso numero di inversioni della distribuzione. Un modo possibile per ridurre il numero di inversioni ottenendo un gran numero di campioni è l'applicazione del cosiddetto campionatore Monte Carlo di collocazione stocastica (campionatore SCMC) all'interno di un framework di espansione del caos polinomiale . Questo ci permette di generare un numero qualsiasi di campioni Monte Carlo con solo poche inversioni della distribuzione originale con campioni indipendenti di una variabile per la quale le inversioni sono analiticamente disponibili, ad esempio la variabile normale standard.

Guarda anche

• Trasformata integrale di probabilità
• Copula , definita mediante trasformata integrale di probabilità.
• Funzione quantile , per la costruzione esplicita di CDF inverse.
• Funzione di distribuzione inversa per una definizione matematica precisa di distribuzioni con componenti discreti.

Riferimenti