Generelt topografisk kort - Generative topographic map

Generative topografisk kort ( GTM ) er en maskinindlæringsmetode , der er en sandsynlig modstykke til det selvorganiserende kort (SOM), sandsynligvis er konvergent og kræver ikke et krympende kvarter eller en faldende trinstørrelse. Det er en generativ model : Det antages, at dataene opstår ved først at sandsynligvis vælge et punkt i et lavdimensionelt rum, kortlægge punktet til det observerede højdimensionelle inputrum (via en glat funktion) og derefter tilføje støj i det rum. Parametrene for den lavdimensionelle sandsynlighedsfordeling, det glatte kort og støj læres alle fra træningsdataene ved hjælp af forventnings-maksimeringsalgoritmen (EM). GTM blev introduceret i 1996 i et papir af Christopher Bishop , Markus Svensen og Christopher KI Williams.

Detaljer om algoritmen

Fremgangsmåden er stærkt relateret til tæthedsnetværk, der bruger vigtighedsudtagning og en flerlagsperstron til at danne en ikke-lineær latent variabel model . I GTM er det latente rum et diskret gitter af punkter, der antages at være ikke-lineært projiceret i datarummet. Derefter foretages en gaussisk støjantagelse i datarummet, så modellen bliver en begrænset blanding af gaussere . Derefter kan modellens sandsynlighed maksimeres med EM.

I teorien kunne en vilkårlig ikke-lineær parametrisk deformation anvendes. De optimale parametre kunne findes ved gradientafstamning osv.

Den foreslåede tilgang til den ikke-lineære kortlægning er at bruge et radialt basisfunktionsnetværk (RBF) til at skabe en ikke-lineær kortlægning mellem det latente rum og datarummet. Knuderne i RBF-netværket danner derefter et funktionsrum, og den ikke-lineære kortlægning kan derefter tages som en lineær transformation af dette funktionsrum. Denne tilgang har fordelen i forhold til den foreslåede tæthedsnetværkstilgang, at den kan optimeres analytisk.

Anvendelser

I dataanalyse er GTM'er som en ikke-lineær version af analyse af hovedkomponenter , som gør det muligt at modellere højdimensionelle data som resultat af gaussisk støj tilføjet kilder i lavere-dimensionelt latent rum. For eksempel at finde lagre i afbildelig 2D-plads baseret på deres hi-D-tidsserieformer. Andre applikationer vil måske have færre kilder end datapunkter, for eksempel blandingsmodeller.

Ved generativ deformationsmodellering har det latente og datarum de samme dimensioner, for eksempel 2D-billeder eller 1 lydlydbølger. Ekstra 'tomme' dimensioner føjes til kilden (kendt som 'skabelonen' i denne form for modellering), for eksempel lokalisering af 1D-lydbølgen i 2D-rum. Yderligere ikke-lineære dimensioner tilføjes derefter, produceret ved at kombinere de originale dimensioner. Det forstørrede latente rum projiceres derefter tilbage i 1D-datarummet. Sandsynligheden for en given projektion er som før angivet af produktet af sandsynligheden for dataene under den Gaussiske støjmodel med forrige på deformationsparameteren. I modsætning til konventionel fjederbaseret deformationsmodellering har dette fordelen ved at være analytisk optimerbar. Ulempen er, at det drejer sig om en "data-mining" -metode, dvs. formen af ​​deformation tidligere er usandsynligt at være meningsfuld som en forklaring af de mulige deformationer, da den er baseret på en meget høj, kunstig og vilkårligt konstrueret ikke-lineær latent plads. Af denne grund læres det foregående fra data snarere end oprettet af en menneskelig ekspert, som det er muligt for forårsbaserede modeller.

Sammenligning med Kohonens selvorganiserende kort

Mens knudepunkter på det selvorganiserende kort (SOM) kan vandre rundt efter eget ønske, begrænses GTM-knudepunkter af de tilladte transformationer og deres sandsynligheder. Hvis deformationerne er velopdragne, bevares topologien i det latente rum.

SOM blev oprettet som en biologisk model af neuroner og er en heuristisk algoritme. I modsætning hertil har GTM intet at gøre med neurovidenskab eller kognition og er en sandsynligvis principiel model. Det har således en række fordele i forhold til SOM, nemlig:

  • det formulerer eksplicit en tæthedsmodel over dataene.
  • den bruger en omkostningsfunktion, der kvantificerer, hvor godt kortet trænes.
  • den bruger en lydoptimeringsprocedure ( EM- algoritme).

GTM blev introduceret af Bishop, Svensen og Williams i deres tekniske rapport i 1997 (Technical Report NCRG / 96/015, Aston University, UK) offentliggjort senere i Neural Computation. Det blev også beskrevet i ph.d.- afhandlingen af ​​Markus Svensen (Aston, 1998).

Applikationer

Se også

eksterne links