Generatieve topografische kaart - Generative topographic map

Generatief topografische kaart ( GTM ) is een machine learning methode die een probabilistische tegenhanger van de zelforganiserende kaart (SOM), is waarschijnlijk convergent is en niet een krimpende nodig wijk of een afnemende stapgrootte. Het is een generatief model : de data wordt verondersteld te ontstaan door eerst probabilistisch kiezen van een punt in een laag-dimensionale ruimte, in kaart brengen van het punt tot de waargenomen hoogdimensionale invoerruimte (via een gladde functie), het vervolgens toevoegen van ruis in die ruimte. De parameters van de low-dimensionale kansverdeling, de goede kaart en het geluid zijn allemaal geleerd van de training gegevens met de verwachting-maximalisatie(EM) algoritme. GTM werd geïntroduceerd in 1996 in een artikel van Christopher Bishop , Markus Svensen en Christopher KI Williams.

Details van het algoritme

De benadering is sterk gerelateerd aan de dichtheid netwerken die gebruik maken importance sampling en meerlaags perceptron een niet-lineaire vorm latente variabele model . In de GTM de latente ruimte een discreet raster van punten waarvan wordt aangenomen niet lineair geprojecteerd in gegevensruimte zijn. Een Gaussische ruis aanname wordt dan in gegevensruimte zodat het model wordt een opgesloten mengsel van Gaussians . Dan waarschijnlijkheid van het model kan worden gemaximaliseerd door EM.

In theorie kan een willekeurige lineaire parametrische vervorming worden gebruikt. De optimale parameters kan worden gevonden door gradiënt afkomst, etc.

De voorgestelde benadering van de niet-lineaire mapping is een gebruik radiale basisfunctie netwerk (RBF) een lineaire mapping tussen de latente ruimte en data ruimte. De knooppunten van het netwerk RBF vormen dan een kenmerkruimte en de niet-lineaire mapping kan dan worden beschouwd als een lineaire transformatie van deze kenmerkruimte. Deze benadering heeft het voordeel boven de voorgestelde dichtheid netwerkbenadering dat analytisch kan worden geoptimaliseerd.

Toepassingen

Gegevensanalyse, GTMS zijn als een lineaire versie van hoofdcomponentenanalyse , waardoor hoog-dimensionale data te modelleren als gevolg van Gaussische ruis bronnen toegevoegd in kleine latente dimensionale ruimte. Bijvoorbeeld, om de voorraden te zoeken in plottable 2D ruimte op basis van hun hi-D tijdreeksen vormen. Andere toepassingen zou willen minder bronnen dan datapunten, bijvoorbeeld mengsel modellen hebben.

Generatieve vervormingsstructuren modelleren , de latente en gegevensruimten dezelfde afmetingen, bijvoorbeeld 2D-beelden of 1 audio geluidsgolven. Extra 'lege' dimensies toegevoegd aan de bron (zogenaamde 'matrijs' in deze vorm modelleren), bijvoorbeeld het lokaliseren van de 1D geluidsgolf in 2D ruimte. Verdere lineaire afmetingen worden toegevoegd, door het combineren van de oorspronkelijke afmetingen. De vergrote latente ruimte wordt dan terug in de 1D gegevensruimte geprojecteerd. De waarschijnlijkheid dat een bepaalde projectie, zoals voorheen, door het product van de waarschijnlijkheid van de gegevens toegediend onder Gaussische ruis model met de stand van de parameter vervorming. In tegenstelling tot conventionele veer gebaseerde modellering vervorming, heeft dit het voordeel dat analytisch optimaliseerbare. Het nadeel is dat het een 'data-mining' benadering, dat wil zeggen de vorm van de deformatie voorafgaande onwaarschijnlijk betekenis als verklaring van de mogelijke vervormingen te zijn, omdat het gebaseerd is op een zeer hoge, kunst- en willekeurig geconstrueerde lineaire latente ruimte. Om deze reden is de stand der techniek wordt geleerd van gegevens in plaats van gemaakt door een menselijke expert, mogelijk is voor de lente-gebaseerde modellen.

Vergelijking met Kohonen's zelforganiserende kaarten

Terwijl knooppunten in het zelforganiserende kaart (SOM) rond naar believen kan dwalen, zijn GTM knooppunten beperkt door de toegestane transformaties en hun kansen. Als de vervormingen zijn goed opgevoede de topologie van de latente ruimte behouden blijft.

SOM is gemaakt als een biologisch model van neuronen en is een heuristisch algoritme. Daarentegen heeft de GTM heeft niets te maken met de neurowetenschappen of cognitie en is een probabilistisch principieel model. Zo heeft een aantal voordelen boven SOM, te weten:

  • uitdrukkelijk formuleert een dichtheid model over de data.
  • het maakt gebruik van een kosten-functie die kwantificeert hoe goed de kaart wordt opgeleid.
  • het maakt gebruik van een goede optimalisatie procedure ( EM -algoritme).

GTM werd geïntroduceerd door Bishop, Svensen en Williams in hun Technical Report in 1997 (Technical Report NCRG / 96/015, Aston University, UK) later gepubliceerd in Neural Computation. Het werd ook beschreven in de PhD thesis van Markus Svensen (Aston, 1998).

toepassingen

Zie ook

Externe links