Ters dönüşüm örneklemesi - Inverse transform sampling

Ters dönüşüm örneklemesi ( inversiyon örneklemesi , ters olasılık integral dönüşümü , ters dönüşüm yöntemi , Smirnov dönüşümü veya altın kural olarak da bilinir ), sözde rasgele sayı örneklemesi için temel bir yöntemdir , yani herhangi bir örnekten rastgele örnek numaraları üretmek için. kümülatif dağılım fonksiyonu verilen olasılık dağılımı .

Ters dönüşüm örnekleme alır homojen numune bir dizi bir olasılık olarak yorumlanır 0 ile 1 arasında, ve daha sonra en büyük sayısı ile döner dağıtım alanından bu şekilde . Örneğin, bunun ortalama sıfır ve standart sapma bir olan standart normal dağılım olduğunu hayal edin . Aşağıdaki tablo, tekdüze dağılımdan alınan örnekleri ve bunların standart normal dağılımdaki temsilini göstermektedir. ${\görüntüleme stili u}$${\görüntüleme stili x}$${\görüntüleme stili P(X)}$${\displaystyle P(-\infty <X<x)\leq u}$${\görüntüleme stili P(X)}$

Tek tip numuneden normale dönüşüm

${\görüntüleme stili u}$	${\ Displaystyle F^{-1}(u)}$
.5	0
.975	1.95996
.995	2.5758
.999999	4.75342
1-2 -52	8.12589

Normal dağılım için ters dönüşüm örneklemesi

Eğrinin altındaki alanın bir oranını rastgele seçiyoruz ve alandaki sayıyı, alanın tam olarak bu oranı o sayının solunda olacak şekilde döndürüyoruz. Sezgisel olarak, kuyrukların uzak ucundan bir sayı seçmemiz olası değildir çünkü kuyruklarda sıfıra veya bire çok yakın bir sayı seçmeyi gerektirecek çok az alan vardır.

Hesaplamalı olarak, bu yöntem dağılımın nicel fonksiyonunun hesaplanmasını içerir - başka bir deyişle, dağılımın kümülatif dağılım fonksiyonunu (CDF) hesaplamayı (bölgedeki bir sayıyı 0 ile 1 arasında bir olasılığa eşler) ve ardından bu fonksiyonu tersine çevirmeyi içerir. Bu, bu yöntemin adlarının çoğunda "ters" veya "inversiyon" teriminin kaynağıdır. Not Bir söz konusu ayrık dağılımı , CDF'yi bilgisayar genelde çok zor değildir: biz sadece dağıtım çeşitli noktaları için bireysel olasılıklarını kadar ekleyin. Bir İçin Sürekli dağılımı ise biz entegre etmek gerekir olasılık yoğunluk fonksiyonu (dahil çoğu dağılımlar için analitik yapmak mümkün değildir dağılımı (PDF) normal dağılıma ). Sonuç olarak, bu yöntem birçok dağılım için hesaplama açısından verimsiz olabilir ve diğer yöntemler tercih edilir; ancak, reddetme örneklemesine dayalı olanlar gibi daha genel olarak uygulanabilir örnekleyiciler oluşturmak için yararlı bir yöntemdir .

İçin normal dağılım , diğer yöntemleri (örneğin bu uygun miktarsal fonksiyon aracı için bir analitik ifadesinin eksikliği Box-Muller dönüşümü ) hesaplama tercih edilebilir. Çoğu zaman, basit dağılımlar için bile, ters dönüşüm örnekleme yöntemi geliştirilebilir: örneğin, zigurat algoritması ve reddetme örneklemesine bakın . Öte yandan, orta dereceli polinomları kullanarak normal dağılımın nicelik fonksiyonunu son derece doğru bir şekilde tahmin etmek mümkündür ve aslında bunu yapma yöntemi, artık normal dağılımdan örnekleme için ters örneklemenin varsayılan yöntem olduğu kadar hızlıdır. istatistik paketinde R .

Tanım

Olasılık integral dönüşüm eğer durumları a, sürekli rastgele değişken ile kümülatif dağılım fonksiyonunun , daha sonra rastgele değişken bir sahiptir düzgün dağılımını [0, 1] ile. Ters olasılık integral dönüşümü bunun tam tersidir: özellikle, [0, 1] üzerinde düzgün bir dağılıma sahipse ve kümülatif bir dağılıma sahipse, rastgele değişken ile aynı dağılıma sahiptir . ${\görüntüleme stili X}$ ${\displaystyle F_{X}}$${\ Displaystyle Y=F_{X}(X)}$${\görüntüleme stili Y}$${\görüntüleme stili X}$${\displaystyle F_{X}}$${\ Displaystyle F_{X}^{-1}(Y)}$${\görüntüleme stili X}$

Dan dönüşümü tekniği grafiği için . Sağ altta normal işlevi görüyoruz ve sol üstte tersini görüyoruz.${\görüntüleme stili x}$${\görüntüleme stili F(x)}$

Sezgi

' den , CDF ile üretmek istiyoruz İyi bir sezgi sağlayan kesin olarak artan bir fonksiyon olduğunu varsayıyoruz . ${\displaystyle U\sim \mathrm {Unif} [0,1]}$${\görüntüleme stili X}$ ${\displaystyle F_{X}(x).}$${\ Displaystyle F_{X}(x)}$

Biz öyle bir monoton dönüşüm bulabilir miyiz diye görmek istiyoruz . sahip olacağız ${\displaystyle T:[0,1]\mapsto \mathbb {R} }$${\displaystyle T(U){\overset {d}{=}}X}$

${\displaystyle F_{X}(x)=\Pr(X\leq x)=\Pr(T(U)\leq x)=\Pr(U\leq T^{-1}(x))=T ^{-1}(x),{\text{ için }}x\in \mathbb {R} ,}$

son adımın kullanıldığı yerde, ne zaman tekdüzedir . ${\displaystyle \Pr(U\leq y)=y}$${\görüntüleme stili U}$${\görüntüleme stili (0,1)}$

Yani , ya da eşdeğerinin ters fonksiyonu olmalıyız${\displaystyle F_{X}}$${\görüntüleme stili T}$${\displaystyle T(u)=F_{X}^{-1}(u),u\in [0,1].}$

Bu nedenle, üretebilir dan${\görüntüleme stili X}$${\displaystyle F_{X}^{-1}(U).}$

yöntem

Ters dönüşüm örneklemesinin şeması. Ters fonksiyonu ile tanımlanabilir .${\görüntüleme stili y=F_{X}(x)}$${\displaystyle F_{X}^{-1}(y)=\mathrm {inf} \{x|F_{X}(x)\geq y\}}$

Ters dönüşüm örneklemesinin tekdüze dağıtılmış rastgele değerlerden normal olarak dağıtılmış rastgele değerleri nasıl oluşturduğuna dair bir animasyon

Ters dönüşüm örnekleme yönteminin çözdüğü problem aşağıdaki gibidir:

• Dağılımı kümülatif dağılım fonksiyonu ile tanımlanabilen bir rastgele değişken olsun .${\görüntüleme stili X}$ ${\displaystyle F_{X}}$
• Bu dağılıma göre dağıtılan değerler üretmek istiyoruz .${\görüntüleme stili X}$

Ters dönüşüm örnekleme yöntemi şu şekilde çalışır:

1. Aralıktaki standart tek biçimli dağılımdan rastgele bir sayı üretin , örn.${\görüntüleme stili u}$${\görüntüleme stili [0,1]}$${\displaystyle U\sim \mathrm {Unif} [0,1].}$
2. İstenen CDF'nin tersini bulun, örn .${\ Displaystyle F_{X}^{-1}(x)}$
3. Hesapla . Hesaplanan rastgele değişkenin dağılımı vardır .${\displaystyle X=F_{X}^{-1}(u)}$${\görüntüleme stili X}$${\ Displaystyle F_{X}(x)}$

Farklı şekilde ifade edildiğinde, içinde sürekli bir düzgün değişken ve ters çevrilebilir bir kümülatif dağılım işlevi verildiğinde, rastgele değişken dağılıma sahiptir (veya dağıtılır ). ${\görüntüleme stili U}$${\görüntüleme stili [0,1]}$${\displaystyle F_{X}}$${\displaystyle X=F_{X}^{-1}(U)}$${\displaystyle F_{X}}$${\görüntüleme stili X}$${\displaystyle F_{X}}$

Diferansiyel denklemleri sağlayan nesneler gibi ters fonksiyonların bir tedavisi verilebilir. Bu tür bazı diferansiyel denklemler, doğrusal olmamalarına rağmen açık güç serisi çözümlerini kabul eder.

Örnekler

• Örnek olarak, bir rastgele değişkenimiz ve bir kümülatif dağılım fonksiyonumuz olduğunu varsayalım.${\displaystyle U\sim \mathrm {Unif} (0,1)}$

${\displaystyle {\begin{hizalı}F(x)=1-\exp(-{\sqrt {x}})\end{hizalı}}}$

Çözmek istediğimiz bir inversiyon gerçekleştirmek için ${\ Displaystyle F(F^{-1}(u))=u}$

${\displaystyle {\begin{hizalanmış}F(F^{-1}(u))&=u\\1-\exp \left(-{\sqrt {F^{-1}(u)}}\ sağ)&=u\\F^{-1}(u)&=(-\log(1-u))^{2}\\&=(\log(1-u))^{2}\ bitiş{hizalı}}}$

Buradan bir, iki ve üçüncü adımları gerçekleştireceğiz.

• Başka bir örnek olarak, x ≥ 0 (ve aksi takdirde 0) ile üstel dağılımı kullanırız . y=F(x)'i çözerek ters fonksiyonu elde ederiz.${\displaystyle F_{X}(x)=1-e^{-\lambda x}}$

${\displaystyle x=F^{-1}(y)=-{\frac {1}{\lambda }}\ln(1-y).}$

Biz bazı çizerseniz anlamına gelir bir gelen ve hesaplamak Bu üstel dağılıma sahiptir.${\görüntüleme stili y_{0}}$${\displaystyle U\sim \mathrm {Unif} (0,1)}$${\displaystyle x_{0}=F_{X}^{-1}(y_{0})=-{\frac {1}{\lambda }}\ln(1-y_{0}),}$${\görüntüleme stili x_{0}}$

Fikir aşağıdaki grafikte gösterilmiştir:

Rastgele sayılar y _i , 0 ile 1 arasında tek tip bir dağılımdan üretilir, yani Y ~ U(0, 1). Y ekseninde renkli noktalar olarak çizilirler. Noktaların her biri, iki örnek nokta için gri oklarla gösterilen x=F ⁻¹ (y)'ye göre eşlenir . Bu örnekte, üstel bir dağılım kullandık. Dolayısıyla, x ≥ 0 için olasılık yoğunluğu ve kümülatif dağılım fonksiyonu . Bu nedenle, . Bu yöntemi kullanarak, birçok noktanın 0'a yaklaştığını ve yalnızca birkaç noktanın yüksek x değerlerine sahip olduğunu görebiliriz - tıpkı üstel bir dağılım için beklendiği gibi.${\displaystyle \varrho _{X}(x)=\lambda e^{-\lambda \,x}}$${\displaystyle F(x)=1-e^{-\lambda \,x}}$${\displaystyle x=F^{-1}(y)=-{\frac {\ln(1-y)}{\lambda }}}$

y yerine 1-y ile başlarsak dağılımın değişmediğini unutmayın. Hesaplama amaçları için, bu nedenle, [0, 1]'de rasgele sayılar y oluşturmak ve sonra basitçe hesaplamak yeterlidir.

${\displaystyle x=F^{-1}(y)=-{\frac {1}{\lambda }}\ln(y).}$

Doğruluk kanıtı

Let F sürekli olarak kümülatif dağılım fonksiyonu ve izin K ^-1 (kullanarak ters fonksiyonu infimum CDFs zayıf monotonik ve çünkü hemen sürekli ):

${\displaystyle F^{-1}(u)=\inf \;\{x\mid F(x)\geq u\}\qquad (0<u<1).}$

İddia: Eğer U a, muntazam (0, 1) rastgele değişken sonra yer alır F da CDF olarak. ${\ Displaystyle F^{-1}(U)}$

Kanıt:

${\displaystyle {\begin{hizalı}&\Pr(F^{-1}(U)\leq x)\\&{}=\Pr(U\leq F(x))\quad &({\text {her iki tarafa }}F,{\metin{ uygulayarak}})\\&{}=F(x)\quad &({\text{çünkü }}\Pr(U\leq y)=y,{\ metin{ U tekdüze olduğunda}}(0,1))\\\end{hizalanmış}}}$

Kesilmiş dağıtım

Ters dönüşüm örneklemesi, reddetme örnekleme maliyeti olmadan aralıktaki kesik dağılımların durumlarına genişletilebilir : aynı algoritma izlenebilir, ancak 0 ile 1 arasında eşit olarak dağıtılmış bir rastgele sayı üretmek yerine , ve arasında eşit olarak dağıtılmış oluşturun ve , ve sonra tekrar al . ${\görüntüleme stili (a,b]}$${\görüntüleme stili u}$${\görüntüleme stili u}$${\görüntüleme stili F(a)}$${\görüntüleme stili F(b)}$${\ Displaystyle F^{-1}(u)}$

İnversiyon sayısının azaltılması

Çok sayıda örnek elde etmek için, aynı sayıda dağılımın tersine çevrilmesi gerekir. Çok sayıda örnek elde ederken tersine çevirme sayısını azaltmanın olası bir yolu, bir polinom kaos genişletme çerçevesi içinde Stokastik Kollokasyon Monte Carlo örnekleyici (SCMC örnekleyici) olarak adlandırılan uygulamadır . Bu, herhangi bir sayıda Monte Carlo örneğini, örneğin standart normal değişken gibi, tersine çevirmeleri analitik olarak mevcut olan bir değişkenin bağımsız örnekleriyle orijinal dağılımın yalnızca birkaç tersine çevrilmesiyle üretmemize olanak tanır.

Ayrıca bakınız

• Olasılık integral dönüşümü
• Copula , olasılık integral dönüşümü ile tanımlanır.
• Ters CDF'lerin açık bir şekilde oluşturulması için nicel işlev .
• Ayrık bileşenlere sahip dağılımlar için kesin bir matematiksel tanım için ters dağıtım işlevi .

Referanslar