Mischungsmodell - Mixture model

In der Statistik ist ein Mischungsmodell ein probabilistisches Modell zur Darstellung des Vorhandenseins von Subpopulationen innerhalb einer Gesamtpopulation, ohne dass ein beobachteter Datensatz die Subpopulation identifizieren muss, zu der eine einzelne Beobachtung gehört. Formal entspricht ein Mischungsmodell der Mischungsverteilung , die die Wahrscheinlichkeitsverteilung von Beobachtungen in der Gesamtpopulation darstellt. Während jedoch Probleme im Zusammenhang mit "Mischungsverteilungen" die Ableitung der Eigenschaften der Gesamtpopulation aus denen der Teilpopulationen betreffen, werden "Mischungsmodelle" verwendet, um statistische Rückschlüsse auf die Eigenschaften der Teilpopulationen zu ziehen, wenn nur Beobachtungen über die gepoolte Population, ohne Informationen zur Identität der Unterpopulation.

Mischungsmodelle sollten nicht mit Modellen für Zusammensetzungsdaten verwechselt werden , dh Daten, deren Komponenten auf einen konstanten Wert (1, 100% usw.) beschränkt sind. Zusammensetzungsmodelle können jedoch als Mischungsmodelle betrachtet werden, bei denen Mitglieder der Bevölkerung zufällig ausgewählt werden. Umgekehrt kann man sich Mischungsmodelle als Kompositionsmodelle vorstellen, bei denen die Gesamtgröße der Lesepopulation auf 1 normalisiert wurde.

Struktur

Allgemeines Mischungsmodell

Ein typisches endlichdimensionales Mischungsmodell ist ein hierarchisches Modell, das aus folgenden Komponenten besteht:

• N beobachtete Zufallsvariablen, die jeweils gemäß einer Mischung von K Komponenten verteilt sind, wobei die Komponenten zu derselben parametrischen Verteilungsfamilie gehören (zB alle normal , alle Zipfian , etc.), aber mit unterschiedlichen Parametern
• N zufällige latente Variablen , die die Identität der Mischungskomponente jeder Beobachtung spezifizieren, jede gemäß einer K- dimensionalen kategorialen Verteilung verteilt
• Ein Satz von K Mischungsgewichtungen, die Wahrscheinlichkeiten sind, die sich zu 1 summieren.
• Ein Satz von K Parametern, von denen jeder den Parameter der entsprechenden Mischungskomponente spezifiziert. In vielen Fällen ist jeder "Parameter" tatsächlich ein Satz von Parametern. Wenn die Mischungskomponenten beispielsweise Gaußsche Verteilungen sind , gibt es für jede Komponente einen Mittelwert und eine Varianz . Wenn die Mischungskomponenten kategoriale Verteilungen sind (z. B. wenn jede Beobachtung ein Token aus einem endlichen Alphabet der Größe V ist ), gibt es einen Vektor von V Wahrscheinlichkeiten, der sich zu 1 summiert.

Darüber hinaus sind in einer Bayesschen Einstellung die Mischungsgewichte und -parameter selbst Zufallsvariablen, und über die Variablen werden vorherige Verteilungen gelegt. In einem solchen Fall werden die Gewichte typischerweise als ein K- dimensionaler Zufallsvektor betrachtet, der aus einer Dirichlet-Verteilung (dem konjugierten Prior der kategorialen Verteilung) gezogen wird, und die Parameter werden gemäß ihren jeweiligen konjugierten Prioren verteilt.

Mathematisch kann ein grundlegendes parametrisches Mischungsmodell wie folgt beschrieben werden:

${\displaystyle {\begin{array}{lcl}K&=&{\text{Anzahl der Mischungskomponenten}}\\N&=&{\text{Anzahl der Beobachtungen}}\\\theta _{i=1\dots K}&=&{\text{Parameter der Verteilung der Beobachtung in Verbindung mit der Komponente }}i\\\phi _{i=1\dots K}&=&{\text{Gemischgewicht, dh vorherige Wahrscheinlichkeit einer bestimmten Komponente }}i\\{\boldsymbol {\phi}}&=&K{\text{-dimensionaler Vektor aus allen einzelnen }}\phi _{1\dots K}{\text{; muss summieren zu 1}}\\z_{i=1\dots N}&=&{\text{Beobachtungskomponente }}i\\x_{i=1\dots N}&=&{\text{Beobachtung } }i\\F(x|\theta )&=&{\text{Wahrscheinlichkeitsverteilung einer Beobachtung, parametrisiert auf }}\theta \\z_{i=1\dots N}&\sim &\operatorname {Categorical} ({\boldsymbol {\phi}})\\x_{i=1\dots N}|z_{i=1\dots N}&\sim &F(\theta_{z_{i}})\end{array }}}$

In einer Bayesschen Einstellung sind alle Parameter wie folgt mit Zufallsvariablen verknüpft:

${\displaystyle {\begin{array}{lcl}K,N&=&{\text{wie oben}}\\\theta _{i=1\dots K},\phi_{i=1\dots K} ,{\boldsymbol {\phi}}&=&{\text{wie oben}}\\z_{i=1\dots N},x_{i=1\dots N},F(x|\theta )& =&{\text{wie oben}}\\\alpha &=&{\text{gemeinsamer Hyperparameter für Komponentenparameter}}\\\beta &=&{\text{gemeinsamer Hyperparameter für Mischungsgewichte}}\\H( \theta |\alpha )&=&{\text{prioristische Wahrscheinlichkeitsverteilung von Komponentenparametern, parametrisiert auf }}\alpha \\\theta _{i=1\dots K}&\sim &H(\theta |\alpha ) \\{\boldsymbol {\phi}}&\sim &\operatorname {Symmetric-Dirichlet} _{K}(\beta )\\z_{i=1\dots N}|{\boldsymbol {\phi}}& \sim &\operatorname {Kategorisch} ({\boldsymbol {\phi}})\\x_{i=1\dots N}|z_{i=1\dots N},\theta_{i=1\dots K }&\sim &F(\theta_{z_{i}})\end{array}}}$

Diese Charakterisierung verwendet F und H , um beliebige Verteilungen über Beobachtungen bzw. Parameter zu beschreiben. Typischerweise H wird die sein Konjugat vor der F . Die beiden häufigsten Wahlen von F sind Gauß, auch bekannt als " normal " (für reellwertige Beobachtungen) und kategorial (für diskrete Beobachtungen). Weitere gängige Möglichkeiten zur Verteilung der Mischungskomponenten sind:

• Binomialverteilung , für die Anzahl der "positiven Vorkommen" (z. B. Erfolge, Ja-Stimmen usw.) bei einer festen Anzahl von Gesamtvorkommen
• Multinomialverteilung , ähnlich der Binomialverteilung, aber für die Zählung von Mehrfachvorkommen (z. B. ja/nein/vielleicht in einer Umfrage)
• Negative Binomialverteilung , für binomiale Beobachtungen, aber die interessierende Menge ist die Anzahl der Fehler, bevor eine bestimmte Anzahl von Erfolgen auftritt
• Poisson-Verteilung , für die Häufigkeit des Auftretens eines Ereignisses in einem bestimmten Zeitraum, für ein Ereignis, das durch eine feste Eintrittsrate gekennzeichnet ist
• Exponentielle Verteilung , für die Zeit vor dem nächsten Ereignis, für ein Ereignis, das durch eine feste Eintrittsrate gekennzeichnet ist
• Log-Normalverteilung , für positive reelle Zahlen, von denen angenommen wird, dass sie exponentiell wachsen, wie Einkommen oder Preise
• Multivariate Normalverteilung (auch bekannt als multivariate Gauss-Verteilung) für Vektoren korrelierter Ergebnisse, die individuell Gauß-verteilt sind
• Multivariate Student- t- Verteilung , für Vektoren mit stark taillierten korrelierten Ergebnissen
• Ein Vektor von Bernoulli- verteilten Werten, der zB einem Schwarz-Weiß-Bild entspricht, wobei jeder Wert ein Pixel repräsentiert; siehe das Beispiel zur Handschrifterkennung unten

Spezifische Beispiele

Gaußsches Mischungsmodell

Nicht-Bayes'sches Gauß'sches Mischungsmodell mit Plattennotation . Kleinere Quadrate zeigen feste Parameter an; größere Kreise zeigen Zufallsvariablen an. Ausgefüllte Formen zeigen bekannte Werte an. Die Angabe [K] bedeutet einen Vektor der Größe K .

Ein typisches nicht-bayesianisches Gauß- Mischungsmodell sieht so aus:

${\displaystyle {\begin{array}{lcl}K,N&=&{\text{wie oben}}\\\phi _{i=1\dots K},{\boldsymbol {\phi}}&=& {\text{wie oben}}\\z_{i=1\dots N},x_{i=1\dots N}&=&{\text{wie oben}}\\\theta _{i=1\ Punkte K}&=&\{\mu_{i=1\dots K},\sigma_{i=1\dots K}^{2}\}\\\mu _{i=1\dots K} &=&{\text{Mittelwert der Komponente }}i\\\sigma _{i=1\dots K}^{2}&=&{\text{Varianz der Komponente }}i\\z_{i=1 \dots N}&\sim &\operatorname {Categorical} ({\boldsymbol {\phi}})\\x_{i=1\dots N}&\sim &{\mathcal {N}}(\mu_{ z_{i}},\sigma_{z_{i}}^{2})\end{array}}}$

Bayes'sches Gauß'sches Mischungsmodell mit Plattennotation . Kleinere Quadrate zeigen feste Parameter an; größere Kreise zeigen Zufallsvariablen an. Ausgefüllte Formen zeigen bekannte Werte an. Die Angabe [K] bedeutet einen Vektor der Größe K .

Eine Bayes'sche Version eines Gauß'schen Mischungsmodells sieht wie folgt aus:

${\displaystyle {\begin{array}{lcl}K,N&=&{\text{wie oben}}\\\phi _{i=1\dots K},{\boldsymbol {\phi}}&=& {\text{wie oben}}\\z_{i=1\dots N},x_{i=1\dots N}&=&{\text{wie oben}}\\\theta _{i=1\ Punkte K}&=&\{\mu_{i=1\dots K},\sigma_{i=1\dots K}^{2}\}\\\mu _{i=1\dots K} &=&{\text{Mittelwert der Komponente }}i\\\sigma _{i=1\dots K}^{2}&=&{\text{Varianz der Komponente }}i\\\mu _{0 },\lambda ,\nu ,\sigma _{0}^{2}&=&{\text{gemeinsame Hyperparameter}}\\\mu _{i=1\dots K}&\sim &{\mathcal { N}}(\mu_{0},\lambda\sigma_{i}^{2})\\\sigma_{i=1\dots K}^{2}&\sim &\operatorname {Invers- Gamma} (\nu,\sigma_{0}^{2})\\{\boldsymbol {\phi}}&\sim &\operatorname {Symmetric-Dirichlet} _{K}(\beta)\\z_{ i=1\dots N}&\sim &\operatorname {Categorical} ({\boldsymbol {\phi}})\\x_{i=1\dots N}&\sim &{\mathcal {N}}(\ mu _{z_{i}},\sigma_{z_{i}}^{2})\end{array}}}$

Medien abspielen

Animation des Clustering-Prozesses für eindimensionale Daten mit einem Bayes-Gauß-Mischungsmodell, bei dem Normalverteilungen aus einem Dirichlet-Prozess gezogen werden . Die Histogramme der Cluster werden in verschiedenen Farben dargestellt. Während des Parameterschätzungsprozesses werden neue Cluster erstellt und wachsen auf den Daten. Die Legende zeigt die Clusterfarben und die Anzahl der jedem Cluster zugewiesenen Datenpunkte.

Multivariates Gaußsches Mischungsmodell

Ein Bayes-Gauß-Mischungsmodell wird üblicherweise erweitert, um einen Vektor unbekannter Parameter (fett markiert) oder multivariate Normalverteilungen anzupassen. In einer multivariaten Verteilung (dh einer, die einen Vektor mit N Zufallsvariablen modelliert) kann man einen Vektor von Parametern (wie mehrere Beobachtungen eines Signals oder Flecken innerhalb eines Bildes) modellieren, indem man eine Vorverteilung des Gauß-Mischungsmodells auf dem Vektor der Schätzungen durch ${\displaystyle {\boldsymbol {x}}}$

${\displaystyle p({\boldsymbol {\theta}})=\sum_{i=1}^{K}\phi_{i}{\mathcal{N}}({\boldsymbol {\mu_{i },\Sigma_{i}}})}$

wobei die i- ^te Vektorkomponente durch Normalverteilungen mit Gewichten , Mittelwerten und Kovarianzmatrizen gekennzeichnet ist . Um diesen Prior in eine Bayessche Schätzung einzubeziehen, wird der Prior mit der bekannten Verteilung der Daten bedingt durch die zu schätzenden Parameter multipliziert . Mit dieser Formulierung wird die a posteriori Verteilung ist auch ein Gaußsches Mischungsmodell der Form ${\displaystyle \phi_{i}}$${\displaystyle {\boldsymbol {\mu_{i}}}}$${\displaystyle {\boldsymbol {\Sigma_{i}}}}$${\displaystyle p({\boldsymbol {x|\theta}})}$${\displaystyle {\boldsymbol {x}}}$${\displaystyle {\boldsymbol {\theta}}}$ ${\displaystyle p({\boldsymbol {\theta |x}})}$

${\displaystyle p({\boldsymbol {\theta |x}})=\sum_{i=1}^{K}{\tilde {\phi_{i}}}{\mathcal{N}}({ \boldsymbol {{\tilde{\mu_{i}}},{\tilde{\Sigma_{i}}}}})}$

mit neuen Parametern und die mit dem EM-Algorithmus aktualisiert werden . Obwohl EM-basierte Parameteraktualisierungen gut etabliert sind, ist die Bereitstellung der ersten Schätzungen für diese Parameter derzeit ein Bereich aktiver Forschung. Beachten Sie, dass diese Formulierung eine geschlossene Lösung für die vollständige posteriore Verteilung ergibt. Schätzungen der Zufallsvariablen können über einen von mehreren Schätzern erhalten werden, beispielsweise den Mittelwert oder das Maximum der Posterior-Verteilung. ${\displaystyle {\tilde {\phi_{i}}},{\boldsymbol {\tilde {\mu_{i}}}}}}$${\displaystyle {\boldsymbol {\tilde {\Sigma_{i}}}}}}$${\displaystyle {\boldsymbol {\theta}}}$

Solche Verteilungen sind zum Beispiel nützlich, um stückweise Formen von Bildern und Clustern anzunehmen. Im Fall der Bilddarstellung kann jede Gauß-Funktion gemäß den Kovarianzmatrizen gekippt, erweitert und verzerrt werden . Eine Gaußsche Verteilung des Satzes wird an jeden Patch (normalerweise mit einer Größe von 8x8 Pixeln) im Bild angepasst. Bemerkenswerterweise kann jeder Verteilung von Punkten um einen Cluster (siehe k- means ) genau genug Gaußsche Komponenten gegeben werden, aber kaum mehr als K = 20 Komponenten werden benötigt, um eine gegebene Bildverteilung oder einen gegebenen Datencluster genau zu modellieren. ${\displaystyle {\boldsymbol {\Sigma_{i}}}}$

Kategoriales Mischungsmodell

Nicht-Bayessches kategoriales Mischungsmodell mit Plattennotation . Kleinere Quadrate zeigen feste Parameter an; größere Kreise zeigen Zufallsvariablen an. Ausgefüllte Formen zeigen bekannte Werte an. Die Angabe [K] bedeutet einen Vektor der Größe K ; ebenso für [V].

Ein typisches nicht-bayesianisches Mischungsmodell mit kategorialen Beobachtungen sieht so aus:

• ${\displaystyle K,N:}$ wie oben
• ${\displaystyle \phi_{i=1\dots K},{\boldsymbol {\phi}}:}$ wie oben
• ${\displaystyle z_{i=1\dots N},x_{i=1\dots N}:}$ wie oben
• ${\displaystyle V:}$ Dimension kategorialer Beobachtungen, zB Größe des Wortschatzes
• ${\displaystyle \theta_{i=1\dots K,j=1\dots V}:}$Wahrscheinlichkeit für die Komponente des Beobachtungsgegenstandes${\displaystyle i}$${\displaystyle j}$
• ${\displaystyle {\boldsymbol {\theta}}_{i=1\dots K}:}$Maßvektor bestehend aus muss summieren zu 1${\displaystyle V,}$${\displaystyle \theta_{i,1\dots V};}$

Die Zufallsvariablen:

${\displaystyle {\begin{array}{lcl}z_{i=1\dots N}&\sim &\operatorname {Categorical} ({\boldsymbol {\phi}})\\x_{i=1\dots N }&\sim &{\text{Kategorisch}}({\boldsymbol {\theta}}_{z_{i}})\end{array}}}$

Bayessches kategoriales Mischungsmodell mit Plattennotation . Kleinere Quadrate zeigen feste Parameter an; größere Kreise zeigen Zufallsvariablen an. Ausgefüllte Formen zeigen bekannte Werte an. Die Angabe [K] bedeutet einen Vektor der Größe K ; ebenso für [V].

Ein typisches Bayes'sches Mischungsmodell mit kategorialen Beobachtungen sieht so aus:

• ${\displaystyle K,N:}$ wie oben
• ${\displaystyle \phi_{i=1\dots K},{\boldsymbol {\phi}}:}$ wie oben
• ${\displaystyle z_{i=1\dots N},x_{i=1\dots N}:}$ wie oben
• ${\displaystyle V:}$ Dimension kategorialer Beobachtungen, zB Größe des Wortschatzes
• ${\displaystyle \theta_{i=1\dots K,j=1\dots V}:}$Wahrscheinlichkeit für die Komponente des Beobachtungsgegenstandes${\displaystyle i}$${\displaystyle j}$
• ${\displaystyle {\boldsymbol {\theta}}_{i=1\dots K}:}$Maßvektor bestehend aus muss summieren zu 1${\displaystyle V,}$${\displaystyle \theta_{i,1\dots V};}$
• ${\displaystyle\alpha:}$gemeinsamer Konzentrations-Hyperparameter von für jede Komponente${\displaystyle {\boldsymbol {\theta}}}$
• ${\displaystyle \beta:}$ Konzentrations-Hyperparameter von ${\displaystyle {\boldsymbol {\phi}}}$

Die Zufallsvariablen:

${\displaystyle {\begin{array}{lcl}{\boldsymbol {\phi}}&\sim &\operatorname {Symmetric-Dirichlet} _{K}(\beta )\\{\boldsymbol {\theta}}_ {i=1\dots K}&\sim &{\text{Symmetric-Dirichlet}}_{V}(\alpha )\\z_{i=1\dots N}&\sim &\operatorname {Categorical} ( {\boldsymbol {\phi}})\\x_{i=1\dots N}&\sim &{\text{kategorisch}}({\boldsymbol {\theta}}_{z_{i}})\end {array}}}$

Beispiele

Ein Finanzmodell

Die Normalverteilung wird mit verschiedenen Mittelwerten und Varianzen aufgetragen

Finanzielle Renditen verhalten sich in normalen Situationen und in Krisenzeiten oft anders. Ein Mischmodell für Rücklaufdaten erscheint sinnvoll. Manchmal ist das verwendete Modell ein Sprung-Diffusions-Modell oder eine Mischung aus zwei Normalverteilungen. Siehe Finanzökonomie#Herausforderungen und Kritik für weiteren Kontext.

Hauspreise

Angenommen, wir beobachten die Preise von N verschiedenen Häusern. Unterschiedliche Haustypen in unterschiedlichen Vierteln haben sehr unterschiedliche Preise, aber der Preis eines bestimmten Haustyps in einem bestimmten Viertel (z. B. ein Haus mit drei Schlafzimmern in einem mäßig gehobenen Viertel) tendiert dazu, ziemlich eng um den Mittelwert zu liegen. Ein mögliches Modell solcher Preise wäre die Annahme, dass die Preise durch ein Mischungsmodell mit K verschiedenen Komponenten, die jeweils als Normalverteilung mit unbekanntem Mittelwert und unbekannter Varianz verteilt sind, genau beschrieben werden , wobei jede Komponente eine bestimmte Kombination von Haustyp/Nachbarschaft spezifiziert. Die Anpassung dieses Modells an beobachtete Preise, z. B. unter Verwendung des Erwartungsmaximierungsalgorithmus , würde dazu neigen, die Preise nach Haustyp/Nachbarschaft zu clustern und die Preisspreizung in jedem Typ/Nachbarschaft aufzudecken. (Beachten Sie, dass für Werte wie Preise oder Einkommen, die garantiert positiv sind und die dazu neigen, exponentiell zu wachsen , eine Log-Normalverteilung tatsächlich ein besseres Modell als eine Normalverteilung sein könnte.)

Themen in einem Dokument

Angenommen, ein Dokument besteht aus N verschiedenen Wörtern aus einem Gesamtvokabular der Größe V , wobei jedes Wort einem von K möglichen Themen entspricht. Die Verteilung solcher Wörter könnte als eine Mischung von K verschiedenen V- dimensionalen kategorialen Verteilungen modelliert werden . Ein Modell dieser Art wird allgemein ein bezeichnetes Thema Modell . Beachten Sie, dass die auf ein solches Modell angewendete Erwartungsmaximierung (unter anderem) aufgrund der übermäßigen Anzahl von Parametern normalerweise keine realistischen Ergebnisse liefert . Einige zusätzliche Annahmen sind normalerweise erforderlich, um gute Ergebnisse zu erzielen. Normalerweise werden dem Modell zwei Arten von zusätzlichen Komponenten hinzugefügt:

1. Eine vorherige Verteilung wird über die Parameter gelegt, die die Themenverteilungen beschreiben, wobei eine Dirichlet-Verteilung mit einem Konzentrationsparameter verwendet wird, der deutlich unter 1 gesetzt ist, um spärliche Verteilungen zu fördern (wo nur eine kleine Anzahl von Wörtern signifikante Wahrscheinlichkeiten ungleich Null haben).
2. Über die Themenidentitäten von Wörtern wird eine Art zusätzlicher Beschränkung auferlegt, um die Vorteile der natürlichen Clusterbildung zu nutzen.

• Zum Beispiel könnte eine Markov-Kette auf die Themenidentitäten (dh die latenten Variablen, die die Mischungskomponente jeder Beobachtung spezifizieren) platziert werden, entsprechend der Tatsache, dass benachbarte Wörter zu ähnlichen Themen gehören. (Dies führt zu einem Hidden-Markov-Modell , insbesondere zu einem Modell , bei dem eine Prior-Verteilung über Zustandsübergänge gelegt wird, die Übergänge begünstigt, die im gleichen Zustand bleiben.)
• Eine andere Möglichkeit ist das latente Dirichlet-Allokationsmodell , das die Wörter in D verschiedene Dokumente aufteilt und davon ausgeht, dass in jedem Dokument nur wenige Themen mit beliebiger Häufigkeit vorkommen.

Handschrifterkennung

Das folgende Beispiel basiert auf einem Beispiel in Christopher M. Bishop , Pattern Recognition and Machine Learning .

Stellen Sie sich vor, wir erhalten ein N × N- Schwarzweißbild, das als Scan einer handgeschriebenen Ziffer zwischen 0 und 9 bekannt ist, aber wir wissen nicht, welche Ziffer geschrieben ist. Wir können ein Mischungsmodell mit verschiedenen Komponenten erstellen , wobei jede Komponente ein Größenvektor von Bernoulli-Verteilungen ist (einer pro Pixel). Ein solches Modell kann mit dem Erwartungsmaximierungsalgorithmus an einem nicht gekennzeichneten Satz handgeschriebener Ziffern trainiert werden und wird die Bilder effektiv gemäß der geschriebenen Ziffer gruppieren. Das gleiche Modell könnte dann verwendet werden, um die Ziffer eines anderen Bildes zu erkennen, indem einfach die Parameter konstant gehalten werden, die Wahrscheinlichkeit des neuen Bildes für jede mögliche Ziffer berechnet wird (eine triviale Berechnung) und die Ziffer zurückgegeben wird, die die höchste Wahrscheinlichkeit erzeugt hat. ${\displaystyle K=10}$${\displaystyle N^{2}}$

Bewertung der Projektilgenauigkeit (auch bekannt als Circular Error Probable, CEP)

Mischungsmodelle gelten bei dem Problem, mehrere Projektile auf ein Ziel zu richten (wie bei Luft-, Land- oder Seeverteidigungsanwendungen), wo sich die physikalischen und/oder statistischen Eigenschaften der Projektile innerhalb der mehreren Projektile unterscheiden. Ein Beispiel könnten Schüsse von mehreren Munitionsarten oder Schüsse von mehreren Orten sein, die auf ein Ziel gerichtet sind. Die Kombination von Projektiltypen kann als Gauß'sches Mischungsmodell charakterisiert werden. Ein bekanntes Genauigkeitsmaß für eine Gruppe von Projektilen ist außerdem der Circular Error Probable (CEP), der die Zahl R ist , bei der im Durchschnitt die Hälfte der Projektilgruppe in den Kreis mit dem Radius R um das Ziel fällt Punkt. Das Mischungsmodell kann verwendet werden, um den Wert R zu bestimmen (oder abzuschätzen) . Das Mischungsmodell erfasst die verschiedenen Arten von Projektilen richtig.

Direkte und indirekte Bewerbungen

Das obige Finanzbeispiel ist eine direkte Anwendung des Mischungsmodells, eine Situation, in der wir einen zugrunde liegenden Mechanismus annehmen, so dass jede Beobachtung zu einer von mehreren verschiedenen Quellen oder Kategorien gehört. Dieser zugrunde liegende Mechanismus kann jedoch beobachtbar sein oder auch nicht. Bei dieser Mischungsform wird jede der Quellen durch eine Komponentenwahrscheinlichkeitsdichtefunktion beschrieben, und ihr Mischungsgewicht ist die Wahrscheinlichkeit, dass eine Beobachtung von dieser Komponente stammt.

Bei einer indirekten Anwendung des Mischungsmodells gehen wir von einem solchen Mechanismus nicht aus. Das Mischungsmodell wird einfach wegen seiner mathematischen Flexibilität verwendet. Zum Beispiel kann eine Mischung aus zwei Normalverteilungen mit unterschiedlichen Mittelwerten zu einer Dichte mit zwei Moden führen , die nicht durch parametrische Standardverteilungen modelliert wird. Ein weiteres Beispiel ist die Möglichkeit von Mischungsverteilungen, um fettere Schwänze als die grundlegenden Gaußschen zu modellieren, um so ein Kandidat für die Modellierung extremerer Ereignisse zu sein. In Kombination mit dynamischer Konsistenz wurde dieser Ansatz auf die Bewertung von Finanzderivaten bei Vorhandensein des Volatilitäts-Smile im Kontext lokaler Volatilitätsmodelle angewendet . Dies definiert unsere Anwendung.

Vorausschauende Wartung

Auch bei der Zustandserkennung der Maschine in der Predictive Maintenance kommt das mischungsmodellbasierte Clustering überwiegend zum Einsatz . Dichtediagramme werden verwendet, um die Dichte von hochdimensionalen Merkmalen zu analysieren. Wenn Multimodelldichten beobachtet werden, wird angenommen, dass eine endliche Menge von Dichten durch eine endliche Menge normaler Mischungen gebildet wird. Ein multivariates Gaußsches Mischmodell wird verwendet, um die Merkmalsdaten in eine Anzahl von k Gruppen zu gruppieren, wobei k jeden Zustand der Maschine darstellt. Der Maschinenzustand kann ein normaler Zustand, ein ausgeschalteter Zustand oder ein fehlerhafter Zustand sein. Jeder gebildete Cluster kann unter Verwendung von Techniken wie der Spektralanalyse diagnostiziert werden. In den letzten Jahren wurde dies auch in anderen Bereichen wie der Fehlerfrüherkennung weit verbreitet.

Unscharfe Bildsegmentierung

Ein Beispiel für Gaussian Mixture in der Bildsegmentierung mit grauem Histogramm

In der Bildverarbeitung und Computer Vision weisen herkömmliche Bildsegmentierungsmodelle einem Pixel oft nur ein exklusives Muster zu. Bei der Fuzzy- oder Soft-Segmentierung kann jedes Muster eine gewisse "Eigentümerschaft" über jedes einzelne Pixel haben. Wenn die Muster gaußförmig sind, führt die Fuzzy-Segmentierung natürlich zu gaußförmigen Mischungen. In Kombination mit anderen analytischen oder geometrischen Werkzeugen (zB Phasenübergänge über diffusive Grenzen) könnten solche räumlich regulierten Mischungsmodelle zu realistischeren und recheneffizienteren Segmentierungsverfahren führen.

Punktsatzregistrierung

Probabilistische Mischung Modelle wie Gaussian Mixture Models (GMM) zu lösen sind verwendet Punktmenge Registrierung Probleme bei der Bildverarbeitung und Computer Vision Felder aus . Für paarweise Punktsatz Registrierung wird ein Punktsatz als die Zentroide der Mischungsmodelle betrachtet, und der andere Punkt wird als Satz Datenpunkte (Beobachtungen) angesehen. Stand der Technik sind zB die kohärente Punktdrift (CPD) und Student's t-distribution Mixing Models (TMM). Die Ergebnisse neuerer Forschungen zeigen die Überlegenheit von Hybridmischungsmodellen (z. B. die Kombination von Student's t-Distribution und Watson-Verteilung/ Bingham-Verteilung , um räumliche Positionen und Achsenorientierungen getrennt zu modellieren) im Vergleich zu CPD und TMM in Bezug auf inhärente Robustheit, Genauigkeit und Unterscheidungsvermögen .

Identifizierbarkeit

Identifizierbarkeit bezieht sich auf das Vorhandensein einer eindeutigen Charakterisierung für eines der Modelle in der betrachteten Klasse (Familie). Schätzverfahren sind möglicherweise nicht genau definiert und die asymptotische Theorie gilt möglicherweise nicht, wenn ein Modell nicht identifizierbar ist.

Beispiel

Sei J die Klasse aller Binomialverteilungen mit n = 2 . Dann wird eine Mischung aus zwei Mitgliedern von J hätte

${\displaystyle p_{0}=\pi (1-\theta_{1})^{2}+(1-\pi)(1-\theta_{2})^{2}}$

${\displaystyle p_{1}=2\pi\theta_{1}(1-\theta_{1})+2(1-\pi)\theta_{2}(1-\theta_{2} )}$

und p ₂ = 1 – p ₀ – p ₁ . Offensichtlich, da p ₀ und p ₁ , ist es nicht möglich , das obige Mischungsmodell eindeutig zu bestimmen, da es drei Parameter ( π , θ ₁ , θ ₂ ) bestimmt werden.

Definition

Betrachten Sie eine Mischung parametrischer Verteilungen derselben Klasse. Lassen

${\displaystyle J=\{f(\cdot;\theta):\theta\in\Omega\}}$

sei die Klasse aller Komponentenverteilungen. Dann definiert die konvexe Hülle K von J die Klasse aller endlichen Verteilungsmischungen in J :

${\displaystyle K=\left\{p(\cdot ):p(\cdot )=\sum _{i=1}^{n}a_{i}f_{i}(\cdot ;\theta_{i }),a_{i}>0,\sum_{i=1}^{n}a_{i}=1,f_{i}(\cdot;\theta_{i})\in J\ \forall in Recht\}}$

K heißt identifizierbar, wenn alle seine Glieder eindeutig sind, d. h. wenn zwei Glieder p und p′ in K gegeben sind , die Mischungen von k- Verteilungen bzw. k′- Verteilungen in J sind , gilt p = p′ genau dann, wenn erstens k = k′ und zweitens können wir die Summationen so umordnen, dass a _i = a _i ′ und ƒ _i = ƒ _i ′ für alle i .

Parameterschätzung und Systemidentifikation

Parametrische Mischungsmodelle werden oft verwendet, wenn wir die Verteilung Y kennen und wir aus X Stichproben ziehen können , wir aber die Werte a _i und θ _i bestimmen möchten . Solche Situationen können in Studien auftreten, in denen wir Stichproben aus einer Population erstellen, die aus mehreren unterschiedlichen Subpopulationen besteht.

Es ist üblich, sich die Wahrscheinlichkeitsmischungsmodellierung als ein Problem fehlender Daten vorzustellen. Eine Möglichkeit, dies zu verstehen, besteht darin, anzunehmen, dass die betrachteten Datenpunkte "Mitgliedschaft" in einer der Verteilungen haben, die wir zum Modellieren der Daten verwenden. Zu Beginn ist diese Mitgliedschaft unbekannt oder fehlt. Die Aufgabe der Schätzung besteht darin, geeignete Parameter für die von uns gewählten Modellfunktionen zu entwickeln, wobei die Verbindung zu den Datenpunkten als ihre Zugehörigkeit zu den einzelnen Modellverteilungen dargestellt wird.

Es wurden verschiedene Ansätze für das Problem der Gemischzerlegung vorgeschlagen, von denen sich viele auf Maximum-Likelihood-Methoden wie die Erwartungsmaximierung (EM) oder die maximale a posteriori- Schätzung (MAP) konzentrieren. Im Allgemeinen betrachten diese Verfahren getrennt die Fragen der Systemidentifikation und Parameterschätzung; Methoden zur Bestimmung der Anzahl und funktionellen Form von Komponenten in einem Gemisch werden von Methoden zur Schätzung der entsprechenden Parameterwerte unterschieden. Einige bemerkenswerte Abweichungen sind die grafischen Methoden, wie sie in Tarter und Lock skizziert wurden, und in jüngerer Zeit Techniken der minimalen Nachrichtenlänge (MML), wie Figueiredo und Jain, und in gewissem Maße die von McWilliam und Loh (2009) vorgeschlagenen Moment-Matching-Musteranalyseroutinen.

Erwartungsmaximierung (EM)

Die Erwartungsmaximierung (EM) ist anscheinend die beliebteste Methode, um die Parameter einer Mischung mit einer a priori gegebenen Anzahl von Komponenten zu bestimmen . Dies ist eine besondere Art der Implementierung einer Maximum-Likelihood- Schätzung für dieses Problem. EM ist besonders für endliche Normalmischungen interessant, bei denen geschlossene Ausdrücke möglich sind, wie im folgenden iterativen Algorithmus von Dempster et al. (1977)

${\displaystyle w_{s}^{(j+1)}={\frac {1}{N}}\sum _{t=1}^{N}h_{s}^{(j)}(t )}$

${\displaystyle \mu_{s}^{(j+1)}={\frac {\sum_{t=1}^{N}h_{s}^{(j)}(t)x^{ (t)}}{\sum_{t=1}^{N}h_{s}^{(j)}(t)}}}$

${\displaystyle \Sigma_{s}^{(j+1)}={\frac {\sum_{t=1}^{N}h_{s}^{(j)}(t)[x^ {(t)}-\mu_{s}^{(j+1)}][x^{(t)}-\mu_{s}^{(j+1)}]^{\top } }{\sum_{t=1}^{N}h_{s}^{(j)}(t)}}}$

mit den Posterior-Wahrscheinlichkeiten

${\displaystyle h_{s}^{(j)}(t)={\frac {w_{s}^{(j)}p_{s}(x^{(t)};\mu_{s} ^{(j)},\Sigma_{s}^{(j)})}{\sum _{i=1}^{n}w_{i}^{(j)}p_{i}(x ^{(t)};\mu_{i}^{(j)},\Sigma_{i}^{(j)})}}.}$

Somit wird auf der Grundlage der aktuellen Schätzung für die Parameter die bedingte Wahrscheinlichkeit für eine gegebene Beobachtung x ^{( t )} , die aus dem Zustand s generiert wird, für jedes t = 1, …, N bestimmt  ; N ist die Stichprobengröße. Die Parameter werden dann so aktualisiert, dass die neuen Komponentengewichtungen der durchschnittlichen bedingten Wahrscheinlichkeit entsprechen und jeder Komponentenmittelwert und jede Kovarianz der komponentenspezifische gewichtete Durchschnitt des Mittelwerts und der Kovarianz der gesamten Stichprobe ist.

Dempster zeigte auch, dass jede nachfolgende EM-Iteration die Wahrscheinlichkeit nicht verringert, eine Eigenschaft, die von anderen Gradienten-basierten Maximierungstechniken nicht geteilt wird. Darüber hinaus bettet EM natürlich Einschränkungen des Wahrscheinlichkeitsvektors und für ausreichend große Stichprobengrößen eine positive Bestimmtheit der Kovarianziterationen ein. Dies ist ein entscheidender Vorteil, da explizit eingeschränkte Methoden zusätzliche Rechenkosten verursachen, um geeignete Werte zu überprüfen und zu pflegen. Theoretisch ist EM ein Algorithmus erster Ordnung und konvergiert als solcher langsam zu einer Fixkommalösung. Redner und Walker (1984) argumentieren für superlineare und Newton- und Quasi-Newton-Methoden zweiter Ordnung und berichten von langsamer Konvergenz in EM auf der Grundlage ihrer empirischen Tests. Sie räumen ein, dass die Konvergenz der Wahrscheinlichkeit schnell war, selbst wenn die Konvergenz der Parameterwerte selbst nicht war. Die relativen Vorteile von EM und anderen Algorithmen gegenüber Konvergenz wurden in anderer Literatur diskutiert.

Andere häufige Einwände gegen die Verwendung von EM sind, dass es dazu neigt, lokale Maxima fälschlicherweise zu identifizieren, sowie eine Empfindlichkeit gegenüber Anfangswerten zeigt. Man kann diese Probleme lösen, indem man EM an mehreren Anfangspunkten im Parameterraum auswertet, aber dies ist rechenaufwendig und andere Ansätze, wie die Annealing-EM-Methode von Udea und Nakano (1998) (bei der die Anfangskomponenten im Wesentlichen gezwungen sind, sich zu überlappen, eine weniger heterogene Grundlage für erste Schätzungen bereitzustellen), kann vorzuziehen sein.

Figueiredo und Jain stellen fest, dass eine Konvergenz zu „bedeutungslosen“ Parameterwerten, die an der Grenze erhalten werden (wo die Regularitätsbedingungen zusammenbrechen, z. B. Ghosh und Sen (1985)), häufig beobachtet wird, wenn die Anzahl der Modellkomponenten die optimale/wahre überschreitet. Auf dieser Grundlage schlagen sie einen einheitlichen Ansatz zur Schätzung und Identifizierung vor, bei dem das anfängliche n so gewählt wird, dass es den erwarteten optimalen Wert deutlich überschreitet. Ihre Optimierungsroutine wird über ein Kriterium der minimalen Nachrichtenlänge (MML) konstruiert, das eine Kandidatenkomponente effektiv eliminiert, wenn es nicht genügend Informationen gibt, um sie zu unterstützen. Auf diese Weise ist es möglich, Reduktionen von n zu systematisieren und Schätzung und Identifizierung gemeinsam zu betrachten.

Der Erwartungsmaximierungsalgorithmus kann verwendet werden, um die Parameter einer parametrischen Mischungsmodellverteilung (die a _i und θ _i ) zu berechnen . Es ist ein iterativer Algorithmus mit zwei Schritten: einem Erwartungsschritt und einem Maximierungsschritt . Praktische Beispiele für EM und Mixture Modeling sind in den SOCR- Demonstrationen enthalten.

Der Erwartungsschritt

Mit anfänglichen Schätzungen für die Parameter unseres Mischungsmodells wird die "partielle Zugehörigkeit" jedes Datenpunkts in jeder Bestandteilsverteilung berechnet, indem Erwartungswerte für die Zugehörigkeitsvariablen jedes Datenpunkts berechnet werden. Das heißt, für jeden Datenpunkt x _j und jede Verteilung Y _i ist der Zugehörigkeitswert y _{i , j} :

${\displaystyle y_{i,j}={\frac {a_{i}f_{Y}(x_{j};\theta_{i})}{f_{X}(x_{j})}}. }$

Der Maximierungsschritt

Wenn Erwartungswerte für die Gruppenmitgliedschaft vorliegen , werden Plug-In-Schätzungen für die Verteilungsparameter neu berechnet.

Die Mischungskoeffizienten a _i sind die Mittelwerte der Zugehörigkeitswerte über die N Datenpunkte.

${\displaystyle a_{i}={\frac {1}{N}}\sum _{j=1}^{N}y_{i,j}}$

Die Komponentenmodellparameter θ _i werden auch durch Erwartungsmaximierung unter Verwendung von Datenpunkten x _j berechnet , die mit den Zugehörigkeitswerten gewichtet wurden. Ist beispielsweise θ ein Mittelwert μ

${\displaystyle \mu_{i}={\frac {\sum_{j}y_{i,j}x_{j}}{\sum_{j}y_{i,j}}}.}$

Mit neuen Schätzungen für ein _i und die θ _i ' s, wird der Erwartungsschritt wiederholt , um neue Mitgliedschaftswerte neu berechnet. Das gesamte Verfahren wird wiederholt, bis die Modellparameter konvergieren.

Markov-Kette Monte Carlo

Als Alternative zum EM-Algorithmus können die Parameter des Mischmodells unter Verwendung von Posterior Sampling abgeleitet werden, wie durch das Bayes-Theorem angegeben . Dies wird immer noch als unvollständiges Datenproblem angesehen, wobei die Mitgliedschaft von Datenpunkten die fehlenden Daten ist. Ein zweistufiges iteratives Verfahren, das als Gibbs-Sampling bekannt ist, kann verwendet werden.

Das vorherige Beispiel einer Mischung zweier Gauß-Verteilungen kann demonstrieren, wie das Verfahren funktioniert. Wie zuvor werden erste Schätzungen der Parameter für das Mischungsmodell vorgenommen. Anstatt partielle Zugehörigkeiten für jede Elementarverteilung zu berechnen, wird ein Zugehörigkeitswert für jeden Datenpunkt aus einer Bernoulli-Verteilung gezogen (dh er wird entweder der ersten oder der zweiten Gauss-Funktion zugewiesen). Der Bernoulli-Parameter θ wird für jeden Datenpunkt auf der Grundlage einer der Teilverteilungen bestimmt. Ziehungen aus der Verteilung erzeugen Mitgliedschaftszuordnungen für jeden Datenpunkt. Plug-in-Schätzer können dann wie im M-Schritt von EM verwendet werden, um einen neuen Satz von Mischungsmodellparametern zu erzeugen, und der Binomial-Zeichnungsschritt wird wiederholt.

Momentabgleich

Die Methode der Momentenanpassung ist eine der ältesten Techniken zur Bestimmung der Mischungsparameter, die auf Karl Pearsons bahnbrechende Arbeit von 1894 zurückgeht. Bei diesem Ansatz werden die Parameter der Mischung so bestimmt, dass die zusammengesetzte Verteilung Momente hat, die einem bestimmten Wert entsprechen. In vielen Fällen kann die Extraktion von Lösungen der Momentengleichungen nicht-triviale algebraische oder rechnerische Probleme aufwerfen. Darüber hinaus hat die numerische Analyse von Day gezeigt, dass solche Methoden im Vergleich zu EM ineffizient sein können. Nichtsdestotrotz ist das Interesse an dieser Methode erneut erwacht, zB Craigmile und Titterington (1998) und Wang.

McWilliam und Loh (2009) betrachten die Charakterisierung einer hyper-kuboiden Normalmischungs- Copula in großdimensionalen Systemen, für die EM rechnerisch untragbar wäre. Hier wird eine Musteranalyseroutine verwendet, um multivariate Tail-Abhängigkeiten zu generieren, die mit einer Reihe von univariaten und (in gewissem Sinne) bivariaten Momenten konsistent sind. Die Leistung dieser Methode wird dann anhand von Equity-Log-Return-Daten mit Kolmogorov-Smirnov- Teststatistiken bewertet, die eine gute deskriptive Anpassung nahelegen.

Spektrale Methode

Einige Probleme bei der Schätzung von Mischungsmodellen können mit spektralen Methoden gelöst werden . Insbesondere wird es nützlich, wenn die Datenpunkte x _i Punkte im hochdimensionalen Realraum sind und die versteckten Verteilungen als log-konkav bekannt sind (wie z. B. Gaußsche Verteilung oder Exponentialverteilung ).

Spektrale Methoden zum Lernen von Mischungsmodellen basieren auf der Verwendung der Singulärwertzerlegung einer Matrix, die Datenpunkte enthält. Die Idee besteht darin, die obersten k singulären Vektoren zu betrachten, wobei k die Anzahl der zu lernenden Verteilungen ist. Die Projektion jedes Datenpunktes auf einen von diesen Vektoren aufgespannten linearen Unterraum gruppiert Punkte, die aus derselben Verteilung stammen, sehr nahe beieinander, während Punkte aus unterschiedlichen Verteilungen weit voneinander entfernt bleiben.

Eine Besonderheit des Spektralverfahrens besteht darin, dass es uns erlaubt zu beweisen, dass, wenn Verteilungen eine bestimmte Trennbedingung erfüllen (zB nicht zu eng), die geschätzte Mischung mit hoher Wahrscheinlichkeit sehr nahe an der wahren Mischung liegt.

Grafische Methoden

Tarter und Lock beschreiben einen grafischen Ansatz zur Gemischidentifikation, bei dem eine Kernelfunktion auf ein empirisches Frequenzdiagramm angewendet wird, um die Varianz zwischen den Komponenten zu reduzieren. Auf diese Weise können Komponenten mit unterschiedlichen Mitteln leichter identifiziert werden. Während dieses λ- Verfahren keine vorherige Kenntnis der Anzahl oder funktionalen Form der Komponenten erfordert, hängt sein Erfolg von der Wahl der Kernelparameter ab, die in gewissem Maße implizit Annahmen über die Komponentenstruktur einbetten.

Andere Methoden

Einige von ihnen können wahrscheinlich sogar Mischungen von Verteilungen mit schwerem Schwanz lernen, einschließlich solcher mit unendlicher Varianz (siehe Links zu den Artikeln unten). In dieser Einstellung würden EM-basierte Methoden nicht funktionieren, da der Erwartungsschritt aufgrund von Ausreißern divergieren würde .

Eine Simulation

Um eine Stichprobe der Größe N zu simulieren , die aus einer Mischung von Verteilungen F _i , i =1 bis n , mit Wahrscheinlichkeiten p _i (sum=  p _i  = 1) besteht:

1. Generiere N Zufallszahlen aus einer kategorialen Verteilung der Größe n und Wahrscheinlichkeiten p _i für i = 1= bis  n . Diese sagen Ihnen, von welchem ​​der F _i jeder der N Werte kommt. Bezeichne mit m _i die Menge der Zufallszahlen, die der i- ^ten Kategorie zugeordnet sind.
2. Generiere für jedes i m _i Zufallszahlen aus der F _i -Verteilung.

Erweiterungen

In einer Bayesschen Einstellung können dem grafischen Modell , das das Mischungsmodell definiert , zusätzliche Ebenen hinzugefügt werden . Zum Beispiel in dem gemeinsamen latenten Dirichlet Allocation Modell Themas sind die Beobachtungen von Sätzen Worte aus gezogenem D verschiedenen Dokumenten und die K Mischungskomponenten repräsentieren Themen , die über Dokumente gemeinsam genutzt werden. Jedes Dokument hat einen anderen Satz von Mischungsgewichtungen, die die in diesem Dokument vorherrschenden Themen angeben. Alle Sätze von Mischungsgewichten haben gemeinsame Hyperparameter .

Eine sehr verbreitete Erweiterung besteht darin, die latenten Variablen , die die Identitäten der Mischungskomponenten definieren, zu einer Markov-Kette zu verbinden , anstatt anzunehmen, dass sie unabhängige, identisch verteilte Zufallsvariablen sind. Das resultierende Modell wird als Hidden-Markov-Modell bezeichnet und ist eines der gebräuchlichsten sequentiellen hierarchischen Modelle. Zahlreiche Erweiterungen von Hidden-Markov-Modellen wurden entwickelt; Weitere Informationen finden Sie im resultierenden Artikel.

Geschichte

Mischungsverteilungen und das Problem der Mischungszerlegung, d. h. die Identifizierung ihrer Bestandteile und ihrer Parameter, wurden bereits 1846 in der Literatur zitiert (Quetelet in McLachlan, 2000), obwohl allgemein auf die Arbeit von Karl Pearson (1894) als erster Autor, der sich explizit mit dem Zersetzungsproblem bei der Charakterisierung nicht-normaler Attribute des Stirn-zu-Körper-Längenverhältnisses in weiblichen Küstenkrebspopulationen befasst. Die Motivation für diese Arbeit lieferte der Zoologe Walter Frank Raphael Weldon, der 1893 (in Tarter und Lock) spekuliert hatte, dass eine Asymmetrie im Histogramm dieser Verhältnisse eine evolutionäre Divergenz signalisieren könnte. Pearsons Ansatz bestand darin, eine univariate Mischung aus zwei Normalen an die Daten anzupassen, indem die fünf Parameter der Mischung so gewählt wurden, dass die empirischen Momente mit denen des Modells übereinstimmten.

Während seine Arbeit erfolgreich darin war, zwei potenziell unterschiedliche Subpopulationen zu identifizieren und die Flexibilität von Mischungen als Momentenanpassungswerkzeug zu demonstrieren, erforderte die Formulierung die Lösung eines (nicht-nischen) Polynoms 9. Grades, was zu dieser Zeit eine erhebliche rechnerische Herausforderung darstellte.

Nachfolgende Arbeiten konzentrierten sich darauf, diese Probleme anzugehen, aber erst mit dem Aufkommen des modernen Computers und der Popularisierung von Maximum-Likelihood- (MLE)-Parametrisierungstechniken nahm die Forschung wirklich Fahrt auf. Seit dieser Zeit gibt es eine Vielzahl von Forschungsarbeiten zu diesem Thema, die Bereiche wie Fischereiforschung , Landwirtschaft , Botanik , Wirtschaft , Medizin , Genetik , Psychologie , Paläontologie , Elektrophorese , Finanzen , Geologie und Zoologie umfassen .

Siehe auch

Mischung

• Mischungsdichte
• Mischung (Wahrscheinlichkeit)
• Flexibles Mischungsmodell (FMM)
• Unterraum-Gaußsches Mischungsmodell

Hierarchische Modelle

• Grafisches Modell
• Hierarchisches Bayes-Modell

Ausreißererkennung

• RANSAC

Verweise

Weiterlesen

Bücher über Mischungsmodelle

• Everitt, BS; Hand, DJ (1981). Endliche Mischungsverteilungen . Chapman & Halle. ISBN 978-0-412-22420-1.
• Lindsay, BG (1995). Mischungsmodelle: Theorie, Geometrie und Anwendungen . NSF-CBMS-Regionalkonferenzreihe in Wahrscheinlichkeit und Statistik. 5 . Hayward: Institut für Mathematische Statistik.
• Marin, JM; Mengersen, K. ; Robert, CP (2011). "Bayessche Modellierung und Inferenz auf Mischungen von Verteilungen" (PDF) . In Dey, D.; Rao, CR (Hrsg.). Grundlegende Bayessche Modelle . Handbuch der Statistik: Bayessches Denken - Modellierung und Berechnung. 25 . Sonst. ISBN 9780444537324.
• McLachlan, GJ; Schäl, D. (2000). Finite Mischungsmodelle . Wiley. ISBN 978-0-471-00626-8.
• Drücken Sie, WH; Teukolsky, SA; Vetterling, WT; Flannery, BP (2007). "Abschnitt 16.1. Gaussian Mixture Models and k-Means Clustering" . Numerische Rezepte: Die Kunst des wissenschaftlichen Rechnens (3. Aufl.). New York: Cambridge University Press. ISBN 978-0-521-88068-8.
• Titterington, D.; Smith, A.; Makov, U. (1985). Statistische Analyse endlicher Gemischverteilungen . Wiley. ISBN 978-0-471-90763-3.

Anwendung von Gaußschen Mischungsmodellen

1. Reynolds, DA; Rose, RC (Januar 1995). „Robuste textunabhängige Sprecheridentifikation mit Gaussian Mixed Speaker Models“. IEEE-Transaktionen zur Sprach- und Audioverarbeitung . 3 (1): 72–83. doi : 10.1109/89.365379 .
2. Permuter, H.; Francos, J.; Jermyn, IH (2003). Gaußsche Mischungsmodelle von Textur und Farbe zum Abrufen von Bilddatenbanken . IEEE International Conference on Acoustics, Speech and Signal Processing , 2003. Proceedings (ICASSP '03). doi : 10.1109/ICASSP.2003.1199538 .
   • Permuter, Haim; Francos, Joseph; Jermyn, Ian (2006). "Eine Studie über Gaußsche Mischungsmodelle von Farb- und Texturmerkmalen für die Bildklassifizierung und -segmentierung" (PDF) . Mustererkennung . 39 (4): 695–706. Bibcode : 2006PatRe..39..695P . doi : 10.1016/j.patcog.2005.10.028 .
3. Lemke, Wolfgang (2005). Modellierung und Schätzung von Begriffsstrukturen in einem State-Space-Framework . Springer-Verlag. ISBN 978-3-540-28342-3.
4. Brigo, Damiano ; Mercurio, Fabio (2001). Verdrängte und Mischungsdiffusionen für analytisch nachvollziehbare Smile-Modelle . Finanzmathematik – Bachelier Kongress 2000. Proceedings. Springer-Verlag.
5. Brigo, Damiano; Mercurio, Fabio (Juni 2002). „Lognormal-Mixture-Dynamik und Kalibrierung auf Marktvolatilität lächelt“. Internationale Zeitschrift für Theoretische und Angewandte Finanzen . 5 (4): 427. CiteSeerX  10.1.1.210.4165 . doi : 10.1142/S0219024902001511 .
6. Spall, JC; Maryak, JL (1992). „Ein möglicher Bayesscher Schätzer von Quantilen für die Projektilgenauigkeit aus Nicht-iid-Daten“. Zeitschrift der American Statistical Association . 87 (419): 676–681. doi : 10.1080/01621459.1992.10475269 . JSTOR  2290205 .
7. Alexander, Carol (Dezember 2004). "Normale Mischungsdiffusion mit unsicherer Volatilität: Modellierung von kurz- und langfristigen Smile-Effekten" (PDF) . Zeitschrift für Bank- und Finanzwesen . 28 (12): 2957–80. doi : 10.1016/j.jbankfin.2003.10.017 .
8. Stylianou, Yannis; Pantazis, Yannis; Calderero, Felipe; Larroy, Pedro; Severin, Francois; Schimke, Sascha; Bonal, Rolando; Matta, Federico; Valsamakis, Athanasios (2005). GMM-basierte multimodale biometrische Verifizierung (PDF) .
9. Chen, J.; Adebomi, 0. E.; Olusayo, OS; Kulesza, W. (2010). Die Bewertung des Dichteansatzes der Gaußschen Mischungswahrscheinlichkeitshypothese für die Verfolgung von mehreren Zielen . IEEE International Conference on Imaging Systems and Techniques , 2010. doi : 10.1109/IST.2010.5548541 .

Externe Links

• Nielsen, Frank (23. März 2012). „K-MLE: Ein schneller Algorithmus zum Erlernen statistischer Mischungsmodelle“.k -MLE: Ein schneller Algorithmus zum Erlernen statistischer Mischungsmodelle . 2012 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP) . S. 869–872. arXiv : 1203.5181 . Bibcode : 2012arXiv1203.5181N . doi : 10.1109/ICASSP.2012.6288022 . ISBN 978-1-4673-0046-9. S2CID  935615 .
• Die SOCR-Demonstrationen von EM und Mixture Modeling
• Mischungsmodellierungsseite (und das Snob- Programm für minimale Nachrichtenlänge ( MML ), angewendet auf endliche Mischungsmodelle), verwaltet von DL Dowe.
• PyMix – Python Mixture Package, Algorithmen und Datenstrukturen für eine Vielzahl von mischungsmodellbasierten Data-Mining-Anwendungen in Python
• sklearn.mixture – Ein Python-Paket zum Erlernen von Gaussian Mixture Models (und Sampling von ihnen), das zuvor mit SciPy und jetzt als SciKit verpackt wurde
• GMM.m Matlab-Code für die GMM-Implementierung
• GPUmix C++-Implementierung von Bayesian Mixture Models unter Verwendung von EM und MCMC mit 100-facher Geschwindigkeitsbeschleunigung unter Verwendung von GPGPU.
• [3] Matlab-Code für die GMM-Implementierung mit EM-Algorithmus
• [4] jMEF: Eine Java-Open-Source-Bibliothek zum Lernen und Verarbeiten von Mischungen exponentieller Familien (unter Verwendung von Dualität mit Bregman-Divergenzen). Enthält einen Matlab-Wrapper.
• Sehr schnelle und saubere C-Implementierung des Algorithmus zur Erwartungsmaximierung (EM) zum Schätzen von Gaussian Mixture Models (GMMs).
• mclust ist ein R-Paket für die Mischungsmodellierung.
• dpgmm Pure Python Dirichlet-Prozess Implementierung des Gaußschen Mischungsmodells (variational).
• Gaussian Mixture Models Blogpost zu Gaussian Mixture Models, die über die Erwartungsmaximierung trainiert wurden, mit einer Implementierung in Python.