Total korrelation - Total correlation

I sandsynlighedsteori og især i informationsteori er total korrelation (Watanabe 1960) en af flere generaliseringer af den gensidige information . Det er også kendt som den multivariate begrænsning (Garner 1962) eller multiinformation (Studený & Vejnarová 1999). Det kvantificerer redundansen eller afhængigheden blandt et sæt n tilfældige variabler.

Definition

For et givet sæt n tilfældige variabler defineres den samlede korrelation som Kullback-Leibler-divergensen fra den fælles fordeling til den uafhængige fordeling af , ${\ displaystyle \ {X_ {1}, X_ {2}, \ ldots, X_ {n} \}}$ ${\ displaystyle C (X_ {1}, X_ {2}, \ ldots, X_ {n})}$ ${\ displaystyle p (X_ {1}, \ ldots, X_ {n})}$ ${\ displaystyle p (X_ {1}) p (X_ {2}) \ cdots p (X_ {n})}$

{\ displaystyle C (X_ {1}, X_ {2}, \ ldots, X_ {n}) \ equiv \ operatorname {D_ {KL}} \ left [p (X_ {1}, \ ldots, X_ {n} ) \ | p (X_ {1}) p (X_ {2}) \ cdots p (X_ {n}) \ højre] \ ;.}

Denne divergens reduceres til den enklere forskel mellem entropier,

{\ displaystyle C (X_ {1}, X_ {2}, \ ldots, X_ {n}) = \ left [\ sum _ {i = 1} ^ {n} H (X_ {i}) \ right] - H (X_ {1}, X_ {2}, \ ldots, X_ {n})}

hvor er informationsentropien af variablen , og er den fælles entropi af variabelsættet . Med hensyn til de diskrete sandsynlighedsfordelinger på variabler er den samlede korrelation givet af ${\ displaystyle H (X_ {i})}$ ${\ displaystyle X_ {i} \,}$ ${\ displaystyle H (X_ {1}, X_ {2}, \ ldots, X_ {n})}$ ${\ displaystyle \ {X_ {1}, X_ {2}, \ ldots, X_ {n} \}}$ ${\ displaystyle \ {X_ {1}, X_ {2}, \ ldots, X_ {n} \}}$

{\ displaystyle C (X_ {1}, X_ {2}, \ ldots, X_ {n}) = \ sum _ {x_ {1} \ i {\ mathcal {X}} _ {1}} \ sum _ { x_ {2} \ i {\ mathcal {X}} _ {2}} \ ldots \ sum _ {x_ {n} \ i {\ mathcal {X}} _ {n}} p (x_ {1}, x_ {2}, \ ldots, x_ {n}) \ log {\ frac {p (x_ {1}, x_ {2}, \ ldots, x_ {n})} {p (x_ {1}) p (x_ {2}) \ cdots p (x_ {n})}}.}

Den samlede korrelation er mængden af information, der deles mellem variablerne i sættet. Summen repræsenterer mængden af information i bits (forudsat base-2-logfiler), som variablerne ville have, hvis de var helt uafhængige af hinanden (ikke-redundante) eller, ækvivalent, den gennemsnitlige kodelængde til at transmittere værdierne for alle variabler hvis hver variabel blev (optimalt) kodet uafhængigt. Udtrykket er den faktiske mængde information, som variabelsættet indeholder, eller ækvivalent, den gennemsnitlige kodelængde til at transmittere værdierne for alle variabler, hvis sæt variabler blev (optimalt) kodet sammen. Forskellen mellem disse udtryk repræsenterer derfor den absolutte redundans (i bit), der er til stede i det givne sæt variabler, og giver således et generelt kvantitativt mål for strukturen eller organisationen, der er inkorporeret i sæt af variabler (Rothstein 1952). Den samlede korrelation er også Kullback-Leibler-divergensen mellem den faktiske fordeling og dens maksimale entropiprodukttilnærmelse . ${\ displaystyle {\ begin {matrix} \ sum _ {i = 1} ^ {n} H (X_ {i}) \ end {matrix}}}$ ${\ displaystyle H (X_ {1}, X_ {2}, \ ldots, X_ {n})}$ ${\ displaystyle p (X_ {1}, X_ {2}, \ ldots, X_ {n})}$ ${\ displaystyle p (X_ {1}) p (X_ {2}) \ cdots p (X_ {n})}$

Total korrelation kvantificerer afhængighedsmængden blandt en gruppe variabler. En næsten nul total korrelation indikerer, at variablerne i gruppen i det væsentlige er statistisk uafhængige; de er fuldstændigt uafhængige, i den forstand at kendskab til værdien af en variabel ikke giver nogen anelse om værdierne for de andre variabler. På den anden side er den maksimale samlede korrelation (for et fast sæt individuelle entropier ) givet af ${\ displaystyle H (X_ {1}), ..., H (X_ {n})}$

{\ displaystyle C _ {\ max} = \ sum _ {i = 1} ^ {n} H (X_ {i}) - \ min \ grænser _ {X_ {i}} H (X_ {i}),}

og opstår, når en af variablerne bestemmer alle de andre variabler. Variablerne er derefter maksimalt relaterede i den forstand, at kendskab til værdien af en variabel giver fuldstændig information om værdierne for alle de andre variabler, og variablerne kan figurativt betragtes som tandhjul, hvor positionen af en tandhjul bestemmer positionerne for alle de andre (Rothstein 1952).

Det er vigtigt at bemærke, at den samlede korrelation tæller alle afskedigelser op blandt et sæt variabler, men at disse afskedigelser kan fordeles i hele variabelsættet på en række komplicerede måder (Garner 1962). For eksempel kan nogle variabler i sættet være fuldstændigt inter-redundante, mens andre i sættet er helt uafhængige. Måske mere væsentligt, kan redundans transporteres i interaktioner af forskellige grader: En gruppe af variable kan ikke i besiddelse af parvise afskedigelser, men kan have højere orden interaktion afskedigelser af den art eksemplificeret ved paritet funktion. Nedbrydningen af den samlede korrelation til dets sammensatte afskedigelser undersøges i en række kilder (Mcgill 1954, Watanabe 1960, Garner 1962, Studeny & Vejnarova 1999, Jakulin & Bratko 2003a, Jakulin & Bratko 2003b, Nemenman 2004, Margolin et al. 2008, Han 1978, Han 1980).

Betinget total korrelation

Betinget total korrelation defineres analogt med den samlede korrelation, men tilføjelse af en betingelse til hvert udtryk. Betinget total korrelation er ligeledes defineret som en Kullback-Leibler-divergens mellem to betingede sandsynlighedsfordelinger,

{\ displaystyle C (X_ {1}, X_ {2}, \ ldots, X_ {n} | Y = y) \ equiv \ operatorname {D_ {KL}} \ left [p (X_ {1}, \ ldots, X_ {n} | Y = y) \ | p (X_ {1} | Y = y) p (X_ {2} | Y = y) \ cdots p (X_ {n} | Y = y) \ højre] \ ;.}

Analogt med ovenstående reduceres betinget total korrelation til en forskel mellem betingede entropier,

{\ displaystyle C (X_ {1}, X_ {2}, \ ldots, X_ {n} | Y = y) = \ sum _ {i = 1} ^ {n} H (X_ {i} | Y = y ) -H (X_ {1}, X_ {2}, \ ldots, X_ {n} | Y = y)}

Anvendelse af total korrelation

Clustering og funktionsvalgalgoritmer baseret på total korrelation er blevet undersøgt af Watanabe. Alfonso et al. (2010) anvendte begrebet total korrelation til optimering af vandovervågningsnetværk.

Se også

Referencer

Alfonso, L., Lobbrecht, A. og Price, R. (2010). Optimering af vandniveauovervågningsnetværk i poldersystemer ved hjælp af informationsteori , vandressourceforskning , 46, W12553, 13 s., 2010, doi : 10.1029 / 2009WR008953 .
Garner WR (1962). Usikkerhed og struktur som psykologiske begreber , JohnWiley & Sons, New York.
Han TS (1978). Ikke-negative entropimål for multivariate symmetriske korrelationer, Information and Control 36 , 133-156.
Han TS (1980). Flere gensidige oplysninger og flere interaktioner i frekvensdata, Information and Control 46 , 26–45.
Jakulin A & Bratko I (2003a). Analysering af attributafhængigheder i N Lavra \ quad {c}, D Gamberger, L Todorovski & H Blockeel, red., Proceedings of the 7. European Conference on Principles and Practice of Knowledge Discovery in Databases , Springer, Cavtat-Dubrovnik, Croatia, pp. 229-240.
Jakulin A & Bratko I (2003b). Kvantificering og visualisering af attributinteraktioner [1] .
Margolin A, Wang K, Califano A og Nemenman I (2010). Multivariat afhængighed og genetisk netværk inferens. IET Syst Biol 4 , 428.
McGill WJ (1954). Multivariat informationsoverførsel, Psychometrika 19 , 97–116.
Nemenman I (2004). Informationsteori, multivariat afhængighed og genetisk netværksinferens [2] .
Rothstein J (1952). Organisation og entropi, Journal of Applied Physics 23 , 1281-1282.
Studený M & Vejnarová J (1999). Multiinformationen fungerer som et værktøj til måling af stokastisk afhængighed, i MI Jordan, red., Learning in Graphical Models , MIT Press, Cambridge, MA, s. 261-296.
Watanabe S (1960). Informationsteoretisk analyse af multivariat korrelation, IBM Journal of Research and Development 4 , 66–82.

Languages

In other projects