Generativní topografická mapa - Generative topographic map

Generativní topografická mapa ( GTM ) je metoda strojového učení, která je pravděpodobným protějškem samoorganizující se mapy (SOM), je pravděpodobně konvergentní a nevyžaduje zmenšující se okolí nebo zmenšující se velikost kroku. Jedná se o generativní model : Předpokládá se, že data vzniknou tak, že se nejprve pravděpodobnostně vybere bod v nízkodimenzionálním prostoru, namapuje se bod na pozorovaný vysokodimenzionální vstupní prostor (pomocí plynulé funkce) a poté se v tomto prostoru přidá šum. Parametry nízkodimenzionálního rozdělení pravděpodobnosti, hladké mapy a šumu se všechny učí z tréninkových dat pomocí algoritmu očekávání-maximalizace (EM). Společnost GTM byla představena v roce 1996 v příspěvku Christophera Bishopa , Markuse Svensena a Christophera KI Williamse.

Podrobnosti algoritmu

Tento přístup silně souvisí s hustotními sítěmi, které používají vzorkování důležitosti a vícevrstvý perceptron k vytvoření nelineárního latentního variabilního modelu . V GTM je latentní prostor diskrétní mřížka bodů, o které se předpokládá, že bude nelineárně promítnuta do datového prostoru. V datovém prostoru se poté vytvoří předpoklad Gaussova šumu, takže se model stane omezenou směsicí Gaussianů . Potom lze pravděpodobnost modelu maximalizovat pomocí EM.

Teoreticky lze použít libovolnou nelineární parametrickou deformaci. Optimální parametry lze najít gradientním klesáním atd.

Navrhovaným přístupem k nelineárnímu mapování je použití sítě radiální báze (RBF) k vytvoření nelineárního mapování mezi latentním prostorem a datovým prostorem. Uzly sítě RBF pak tvoří prostor funkcí a nelineární mapování lze poté brát jako lineární transformaci tohoto prostoru funkcí. Tento přístup má oproti navrhovanému hustotnímu síťovému přístupu tu výhodu, že jej lze analyticky optimalizovat.

Použití

V analýze dat jsou GTM jako nelineární verze analýzy hlavních komponent , která umožňuje modelovat vysoce dimenzionální data, která jsou výsledkem gaussovského šumu přidaného ke zdrojům v latentním prostoru nižší dimenze. Například k vyhledání akcií v plottable 2D prostoru na základě jejich tvarů časových řad hi-D. Jiné aplikace mohou chtít mít méně zdrojů než datové body, například modely směsí.

V generativním deformačním modelování mají latentní a datové prostory stejné rozměry, například 2D obrazy nebo 1 zvukové zvukové vlny. Ke zdroji jsou přidány další „prázdné“ dimenze (v této formě modelování označované jako „šablona“), například umístění 1D zvukové vlny ve 2D prostoru. Poté se přidají další nelineární rozměry, které vzniknou kombinací původních rozměrů. Zvětšený latentní prostor se poté promítá zpět do 1D datového prostoru. Pravděpodobnost dané projekce je, stejně jako dříve, dána součinem pravděpodobnosti dat podle modelu Gaussova šumu s předchozím parametrem deformace. Na rozdíl od běžného pružinového deformačního modelování to má tu výhodu, že je analyticky optimalizovatelné. Nevýhodou je, že se jedná o přístup „dolování dat“, tj. Nepravděpodobné, že by tvar deformace měl smysl jako vysvětlení možných deformací, protože je založen na velmi vysoké, umělé a libovolně konstruované nelineární latenci prostor. Z tohoto důvodu se předchůdce učí spíše z dat, než aby jej vytvořil lidský expert, jak je to možné u modelů založených na jaře.

Srovnání s Kohonenovými samoorganizujícími se mapami

Zatímco uzly v samoorganizující se mapě (SOM) se mohou pohybovat podle libosti, uzly GTM jsou omezeny povolenými transformacemi a jejich pravděpodobnostmi. Pokud se deformace chovají dobře, topologie latentního prostoru je zachována.

SOM byl vytvořen jako biologický model neuronů a je heuristickým algoritmem. Naproti tomu GTM nemá nic společného s neurovědou nebo poznáváním a je pravděpodobnostně principiálním modelem. Má tedy oproti SOM řadu výhod, jmenovitě:

  • výslovně formuluje model hustoty nad daty.
  • využívá nákladovou funkci, která kvantifikuje, jak dobře je mapa trénována.
  • používá postup optimalizace zvuku ( algoritmus EM ).

GTM představili Bishop, Svensen a Williams ve své technické zprávě z roku 1997 (Technická zpráva NCRG / 96/015, Aston University, UK) publikované později v Neural Computation. To bylo také popsáno v disertační práci Markuse Svensena (Aston, 1998).

Aplikace

Viz také

externí odkazy