Afstandskorrelation - Distance correlation

I statistik og i sandsynlighedsteori er afstandskorrelation eller afstandskovarians et mål for afhængighed mellem to parrede tilfældige vektorer af vilkårlig, ikke nødvendigvis lige dimension . Befolkningsafstandskorrelationskoefficienten er nul, hvis og kun hvis de tilfældige vektorer er uafhængige . Således måler afstandskorrelation både lineær og ikke -lineær sammenhæng mellem to tilfældige variabler eller tilfældige vektorer. Dette er i modsætning til Pearsons korrelation , som kun kan detektere lineær sammenhæng mellem to tilfældige variabler .

Afstandskorrelation kan bruges til at udføre en statistisk test af afhængighed med en permutationstest . Man beregner først afstandskorrelationen (involverer re-centrering af euklidiske afstandsmatricer) mellem to tilfældige vektorer og sammenligner derefter denne værdi med afstandskorrelationerne mellem mange blandinger af dataene.

Flere sæt ( x ,  y ) punkter med afstandskorrelationskoefficienten x og y for hvert sæt. Sammenlign med grafen om korrelation

Baggrund

Det klassiske afhængighedsmål, Pearson -korrelationskoefficienten , er hovedsageligt følsomt over for et lineært forhold mellem to variabler. Afstandskorrelation blev introduceret i 2005 af Gábor J. Székely i flere foredrag for at løse denne mangel på Pearsons korrelation , nemlig at den let kan være nul for afhængige variabler. Korrelation = 0 (ukorrelation) indebærer ikke uafhængighed, mens afstandskorrelation = 0 indebærer uafhængighed. De første resultater om afstandskorrelation blev offentliggjort i 2007 og 2009. Det blev bevist, at afstandskovarians er den samme som Brownsk kovarians. Disse foranstaltninger er eksempler på energiafstande .

Afstandskorrelationen stammer fra en række andre størrelser, der bruges i dens specifikation, specifikt: afstandsvariation , afstandsstandardafvigelse og afstandskovarians . Disse størrelser indtager de samme roller som de almindelige øjeblikke med tilsvarende navne i specifikationen af Pearson-produkt-moment-korrelationskoefficienten .

Definitioner

Afstandskovarians

Lad os starte med definitionen af prøveafstandskovariansen . Lad ( X _k ,  Y _k ), k  = 1, 2, ..., n være en statistisk prøve fra et par reelle værdiansatte eller vektorværdierede tilfældige variabler ( X ,  Y ). Beregn først n ved n afstandsmatricer ( a _{j , k} ) og ( b _{j , k} ), der indeholder alle parvise afstande

${\ displaystyle {\ begin {justeret} a_ {j, k} & = \ | X_ {j} -X_ {k} \ |, \ qquad j, k = 1,2, \ ldots, n, \\ b_ { j, k} & = \ | Y_ {j} -Y_ {k} \ |, \ qquad j, k = 1,2, \ ldots, n, \ end {align}}}$

hvor || ⋅ || betegner euklidisk norm . Tag derefter alle dobbeltcentrerede afstande

${\ displaystyle A_ {j, k}: = a_ {j, k}-{\ overline {a}} _ {j \ cdot}-{\ overline {a}} _ {\ cdot k}+{\ overline { a}} _ {\ cdot \ cdot}, \ qquad B_ {j, k}: = b_ {j, k}-{\ overline {b}} _ {j \ cdot}-{\ overline {b}} _ {\ cdot k}+{\ overline {b}} _ {\ cdot \ cdot},}$

hvor er j -th række middelværdi, er k -th kolonne middelværdi, og er det store middel af afstandsmatrixen for X -prøven. Notationen ligner b -værdierne. (I matricerne med centrerede afstande ( A _{j , k} ) og ( B _{j , k} ) summerer alle rækker og alle kolonner til nul.) Den kvadrerede prøveafstands kovarians (en skalar) er simpelthen det aritmetiske gennemsnit af produkterne A _{j , k} B _{j , k} : ${\ displaystyle \ textstyle {\ overline {a}} _ {j \ cdot}}$${\ displaystyle \ textstyle {\ overline {a}} _ {\ cdot k}}$${\ displaystyle \ textstyle {\ overline {a}} _ {\ cdot \ cdot}}$

${\ displaystyle \ operatorname {dCov} _ {n}^{2} (X, Y): = {\ frac {1} {n^{2}}} \ sum _ {j = 1}^{n} \ sum _ {k = 1}^{n} A_ {j, k} \, B_ {j, k}.}$

Statistikken T _n = n dCov ² _n ( X , Y ) bestemmer en konsekvent multivariat test af uafhængighed af tilfældige vektorer i vilkårlige dimensioner. For en implementering se dcov.test funktion i energi pakke til R .

Befolkningsværdien af afstandskovarians kan defineres efter de samme linjer. Lad X være en tilfældig variabel, der tager værdier i et p -dimensionalt euklidisk rum med sandsynlighedsfordeling μ og lad Y være en tilfældig variabel, der tager værdier i et q -dimensionalt euklidisk rum med sandsynlighedsfordeling ν , og antag, at X og Y har en endelig forventninger. Skrive

${\ displaystyle a _ {\ mu} (x): = \ operatorname {E} [\ | Xx \ |], \ quad D (\ mu): = \ operatorname {E} [a _ {\ mu} (X)] , \ quad d _ {\ mu} (x, x '): = \ | x-x' \ | -a _ {\ mu} (x) -a _ {\ mu} (x ')+D (\ mu). }$

Endelig defineres befolkningsværdien af ​​kvadratisk afstandskovarians af X og Y som

${\ displaystyle \ operatorname {dCov} ^{2} (X, Y): = \ operatorname {E} {\ big [} d _ {\ mu} (X, X ') d _ {\ nu} (Y, Y' ){\stor ]}.}$

Man kan vise, at dette svarer til følgende definition:

${\ displaystyle {\ begin {align} \ operatorname {dCov} ^{2} (X, Y): = {} & \ operatorname {E} [\ | X-X '\ | \, \ | Y-Y' \ |]+\ operatorname {E} [\ | X-X '\ |] \, \ operatorname {E} [\ | Y-Y' \ |] \\ & \ qquad {}-\ operatorname {E} [ \ | X-X '\ | \, \ | Y-Y' '\ |]-\ operatorname {E} [\ | X-X' '\ | \, \ | Y-Y' \ |] \\ = {} & \ operatorname {E} [\ | X-X '\ | \, \ | Y-Y' \ |]+\ operatorname {E} [\ | X-X '\ |] \, \ operatorname {E } [\ | Y-Y '\ |] \\ & \ qquad {} -2 \ operatorname {E} [\ | X-X' \ | \, \ | Y-Y '' \ |], \ end { justeret}}}$

hvor E betegner forventet værdi, og og er uafhængige og identisk fordelt. De primede tilfældige variabler og betegner uafhængige og identisk fordelte (iid) kopier af variablerne og og er på samme måde iid. Afstandskovarians kan udtrykkes i form af den klassiske Pearsons kovarians , cov , som følger: ${\ displaystyle \ textstyle (X, Y),}$ ${\ displaystyle \ textstyle (X ', Y'),}$${\ displaystyle \ textstyle (X '', Y '')}$${\ displaystyle \ textstyle (X ', Y')}$${\ displaystyle \ textstyle (X '', Y '')}$${\ displaystyle X}$${\ displaystyle Y}$

${\ displaystyle \ operatorname {dCov} ^{2} (X, Y) = \ operatorname {cov} (\ | X-X '\ |, \ | Y-Y' \ |) -2 \ operatorname {cov} ( \ | X-X '\ |, \ | Y-Y' '\ |).}$

Denne identitet viser, at afstandskovariansen ikke er den samme som afstandens kovarians, cov (|| X - X ' ||, || Y - Y' || ). Dette kan være nul, selvom X og Y ikke er uafhængige.

Alternativt kan afstanden kovariansen defineres som den vægtede L ² normen af afstanden mellem den fælles karakteristiske funktion af de tilfældige variable og produktet af de marginale karakteristiske funktioner:

${\ displaystyle \ operatorname {dCov} ^{2} (X, Y) = {\ frac {1} {c_ {p} c_ {q}}} \ int _ {\ mathbb {R} ^{p+q} } {\ frac {\ venstre | \ varphi _ {X, Y} (s, t)-\ varphi _ {X} (s) \ varphi _ {Y} (t) \ højre |^{2}} {| s | _ {p}^{1+p} | t | _ {q}^{1+q}}} \, dt \, ds}$

hvor ,, og er de karakteristiske funktioner for ( X , Y ), X og Y , henholdsvis p , q betegner den euklidiske dimension af X og Y , og dermed af s og t , og c _p , c _q er konstanter. Vægten funktionen vælges til frembringelse af en skala equivariant og rotationsinvariant foranstaltning, som ikke går til nul for afhængige variable. En fortolkning af den karakteristiske funktionsdefinition er, at variablerne e ^isX og e ^itY er cykliske repræsentationer af X og Y med forskellige perioder givet af s og t , og udtrykket ϕ _{X , Y} ( s , t ) - ϕ _X ( s ) ϕ _Y ( t ) i tælleren af ​​den karakteristiske funktionsdefinition af afstandskovarians er ganske enkelt den klassiske kovarians af e ^isX og e ^itY . Den karakteristiske funktionsdefinition viser klart, at dCov ² ( X , Y ) = 0, hvis og kun hvis X og Y er uafhængige. ${\ displaystyle \ varphi _ {X, Y} (s, t)}$${\ displaystyle \ varphi _ {X} (r)}$${\ displaystyle \ varphi _ {Y} (t)}$ ${\ displaystyle ({c_ {p} c_ {q}} {| s | _ {p}^{1+p} | t | _ {q}^{1+q}})^{-1}}$

Afstandsafvigelse og afstandsstandardafvigelse

Den afstand varians er et særligt tilfælde af afstand kovarians når de to variabler er identiske. Befolkningsværdien af ​​afstandsvariation er kvadratroden af

${\ displaystyle \ operatorname {dVar} ^{2} (X): = \ operatorname {E} [\ | X-X '\ | ^{2}]+\ operatorname {E} ^{2} [\ | X -X '\ |] -2 \ operatornavn {E} [\ | X-X' \ | \, \ | X-X '' \ |],}$

hvor ,, og er uafhængige og identisk fordelte tilfældige variabler , angiver den forventede værdi og for funktion , f.eks . ${\ displaystyle X}$${\ displaystyle X '}$${\ displaystyle X ''}$${\ displaystyle \ operatorname {E}}$${\ displaystyle f^{2} (\ cdot) = (f (\ cdot))^{2}}$${\ displaystyle f (\ cdot)}$${\ displaystyle \ operatorname {E} ^{2} [\ cdot] = (\ operatorname {E} [\ cdot]) ^{2}}$

Den prøve afstand varians er kvadratroden af

${\ displaystyle \ operatorname {dVar} _ {n} (X): = \ operatorname {dCov} _ {n}^{2} (X, X) = {\ tfrac {1} {n^{2}}} \ sum _ {k, \ ell} A_ {k, \ ell}^{2},}$

som er en slægtning til Corrado Gini 's gennemsnitlige forskel introduceret i 1912 (men Gini gjorde ikke arbejde med centrerede afstande).

Den afstand standardafvigelse er kvadratroden af afstanden varians .

Afstandskorrelation

Den afstand korrelation af to tilfældige variable fås ved at dividere deres afstand kovarians med produktet af deres afstand standardafvigelser . Afstandskorrelationen er

${\ displaystyle \ operatorname {dCor} (X, Y) = {\ frac {\ operatorname {dCov^{2}} (X, Y)} {\ sqrt {\ operatorname {dVar} (X) \, \ operatorname { dVar} (Y)}}},}$

og prøveafstandskorrelationen er defineret ved at erstatte prøveafstandskovariansen og afstandsvariationerne med befolkningskoefficienterne ovenfor.

For let beregning af prøve afstand korrelation se dcor funktion i energi pakke til R .

Ejendomme

Afstandskorrelation

Afstandskovarians

Denne sidste egenskab er den vigtigste effekt af arbejde med centrerede afstande.

Statistikken er en forudindtaget estimator af . Under X og Y's uafhængighed ${\ displaystyle \ operatorname {dCov} _ {n}^{2} (X, Y)}$${\ displaystyle \ operatorname {dCov} ^{2} (X, Y)}$

${\ displaystyle {\ begin {align} \ operatorname {E} [\ operatorname {dCov} _ {n}^{2} (X, Y)] & = {\ frac {n-1} {n^{2} }} \ venstre \ {(n-2) \ operatorname {dCov} ^{2} (X, Y)+\ operatorname {E} [\ | X-X '\ |] \, \ operatorname {E} [\ | Y-Y '\ |] \ right \} \\ [6pt] & = {\ frac {n-1} {n^{2}}} \ operatorname {E} [\ | X-X' \ |] \, \ operatorname {E} [\ | Y-Y '\ |]. \ end {align}}}$

En upartisk estimator af er givet af Székely og Rizzo. ${\ displaystyle \ operatorname {dCov} ^{2} (X, Y)}$

Afstandsafvigelse

Lighed gælder (iv), hvis og kun hvis en af ​​de tilfældige variabler X eller Y er en konstant.

Generalisering

Afstandskovarians kan generaliseres til at omfatte beføjelser for euklidisk afstand. Definere

${\ displaystyle {\ begin {align} \ operatorname {dCov} ^{2} (X, Y; \ alpha): = {} & \ operatorname {E} [\ | X-X '\ | ^{\ alpha} \, \ | Y-Y '\ |^{\ alpha}]+\ operatorname {E} [\ | X-X' \ |^{\ alpha}] \, \ operatorname {E} [\ | Y-Y '\ |^{\ alpha}] \\ & \ qquad {} -2 \ operatorname {E} [\ | X-X' \ |^{\ alpha} \, \ | Y-Y '' \ |^{ \ alpha}]. \ end {align}}}$

Derefter for hver , og er uafhængige, hvis og kun hvis . Det er vigtigt at bemærke, at denne karakterisering ikke gælder eksponent ; i dette tilfælde for bivariat , er en deterministisk funktion af Pearson -korrelationen. Hvis og er beføjelser for de tilsvarende afstande, så kan prøveafstandskovarians defineres som det ikke -negative tal, for hvilket ${\ displaystyle 0 <\ alpha <2}$${\ displaystyle X}$${\ displaystyle Y}$${\ displaystyle \ operatorname {dCov} ^{2} (X, Y; \ alpha) = 0}$${\ displaystyle \ alpha = 2}$${\ displaystyle (X, Y)}$${\ displaystyle \ operatorname {dCor} (X, Y; \ alpha = 2)}$${\ displaystyle a_ {k, \ ell}}$${\ displaystyle b_ {k, \ ell}}$${\ displaystyle \ alpha}$${\ displaystyle 0 <\ alpha \ leq 2}$${\ displaystyle \ alpha}$

${\ displaystyle \ operatorname {dCov} _ {n}^{2} (X, Y; \ alpha): = {\ frac {1} {n^{2}}} \ sum _ {k, \ ell} A_ {k, \ ell} \, B_ {k, \ ell}.}$

Man kan udvide til metriske rum -valued stokastiske variable og : Hvis har lov i et metrisk rum med metrisk , derefter definere , og (forudsat er endelig, dvs. har endelig første øjeblik), . Så hvis har lov (i et muligvis et andet metrisk rum med begrænset første øjeblik), definer ${\ displaystyle \ operatorname {dCov}}$ ${\ displaystyle X}$${\ displaystyle Y}$${\ displaystyle X}$${\ displaystyle \ mu}$${\ displaystyle d}$${\ displaystyle a _ {\ mu} (x): = \ operatorname {E} [d (X, x)]}$${\ displaystyle D (\ mu): = \ operatorname {E} [a _ {\ mu} (X)]}$${\ displaystyle a _ {\ mu}}$${\ displaystyle X}$${\ displaystyle d _ {\ mu} (x, x '): = d (x, x')-a _ {\ mu} (x) -a _ {\ mu} (x ')+D (\ mu)}$${\ displaystyle Y}$${\ displaystyle \ nu}$

${\ displaystyle \ operatorname {dCov} ^{2} (X, Y): = \ operatorname {E} {\ big [} d _ {\ mu} (X, X ') d _ {\ nu} (Y, Y' ){\stor ]}.}$

Dette er ikke-negativt for alle sådanne iff begge metriske rum har negativ type. Her har et metrisk rum en negativ type, hvis den er isometrisk for en delmængde af et Hilbert -rum . Hvis begge metriske rum har en stærk negativ type, er iff uafhængige. ${\ displaystyle X, Y}$${\ displaystyle (M, d)}$${\ displaystyle (M, d^{1/2})}$${\ displaystyle \ operatorname {dCov} ^{2} (X, Y) = 0}$${\ displaystyle X, Y}$

Alternativ definition af afstandskovarians

Den oprindelige afstandskovarians er blevet defineret som kvadratroden af , frem for selve kvadratkoefficienten . har den egenskab, at det er energiafstanden mellem fællesfordelingen af og produktet af dets marginaler. Under denne definition måles afstandsafvigelsen i stedet for afstandens standardafvigelse i de samme enheder som afstandene. ${\ displaystyle \ operatorname {dCov} ^{2} (X, Y)}$${\ displaystyle \ operatorname {dCov} (X, Y)}$${\ displaystyle \ operatorname {X}, Y}$${\ displaystyle \ operatorname {X}}$

Alternativt kunne man definere afstandskovarians til at være kvadratet for energidistancen: I dette tilfælde måles standardafvigelsen for afstanden i de samme enheder som afstanden, og der findes en upartisk estimator for befolkningsafstandskovariansen. ${\ displaystyle \ operatorname {dCov} ^{2} (X, Y).}$${\ displaystyle X}$${\ displaystyle X}$

Under disse alternative definitioner er afstandskorrelationen også defineret som kvadratet frem for kvadratroden. ${\ displaystyle \ operatorname {dCor} ^{2} (X, Y)}$

Alternativ formulering: Brownsk kovarians

Brownsk kovarians er motiveret af generalisering af begrebet kovarians til stokastiske processer. Kvadratet for kovariansen af ​​tilfældige variabler X og Y kan skrives i følgende form:

${\ displaystyle \ operatorname {cov} (X, Y)^{2} = \ operatorname {E} \ left [{\ big (} X- \ operatorname {E} (X) {\ big)} {\ big ( } X^{\ mathrm {'}}-\ operatorname {E} (X^{\ mathrm {'}}) {\ big)} {\ big (} Y- \ operatorname {E} (Y) {\ big )} {\ big (} Y^{\ mathrm {'}}-\ operatorname {E} (Y^{\ mathrm {'}}) {\ big)} \ right]}$

hvor E betegner den forventede værdi, og primtalen angiver uafhængige og identisk distribuerede kopier. Vi har brug for følgende generalisering af denne formel. Hvis U (s), V (t) er vilkårlige tilfældige processer defineret for alle reelle s og t, så definer den U-centrerede version af X ved

${\ displaystyle X_ {U}: = U (X)-\ operatorname {E} _ {X} \ venstre [U (X) \ midt \ venstre \ {U (t) \ højre \} \ højre]}$

når den fratrukne betingede forventede værdi eksisterer og betegner med Y _V den V-centrerede version af Y. (U, V) kovarians af (X, Y) er defineret som det ikke-negative tal, hvis kvadrat er

${\ displaystyle \ operatorname {cov} _ {U, V}^{2} (X, Y): = \ operatorname {E} \ left [X_ {U} X_ {U}^{\ mathrm {'}} Y_ {V} Y_ {V}^{\ mathrm {'}} \ højre]}$

når den højre side er ikke-negativ og endelig. Det vigtigste eksempel er, når U og V er tosidige uafhængige Browniske bevægelser / Wiener-processer med forventning nul og kovarians | s | + | t | - | s - t | = 2 min ( s , t ) (for ikke -negative s, kun t). (Dette er det dobbelte af kovariansen ved standard Wiener -processen; her forenkler faktor 2 beregningerne.) I dette tilfælde kaldes ( U , V ) kovariansen Brownsk kovarians og betegnes med

${\ displaystyle \ operatorname {cov} _ {W} (X, Y).}$

Der er en overraskende tilfældighed: Brownsk kovarians er den samme som afstandskovarians:

${\ displaystyle \ operatorname {cov} _ {\ mathrm {W}} (X, Y) = \ operatorname {dCov} (X, Y),}$

og dermed er brunsk korrelation det samme som afstandskorrelation.

På den anden side, hvis vi erstatter den brune bevægelse med den deterministiske identitetsfunktions -id, er Cov _id ( X , Y ) simpelthen den absolutte værdi af den klassiske Pearson -kovarians ,

${\ displaystyle \ operatorname {cov} _ {\ mathrm {id}} (X, Y) = \ left \ vert \ operatorname {cov} (X, Y) \ right \ vert.}$

Relaterede metrics

Andre korrelationsmålinger, herunder kernebaserede korrelationsmetrikker (f.eks. Hilbert-Schmidt Independence Criterion eller HSIC) kan også registrere lineære og ikke-lineære interaktioner. Både afstandskorrelation og kernebaserede metrics kan bruges i metoder såsom kanonisk korrelationsanalyse og uafhængig komponentanalyse for at give stærkere statistisk effekt .

Se også

• RV -koefficient
• For en relateret statistik fra tredje orden, se Afstand skævhed .

Noter

Referencer

• Bickel, Peter J .; Xu, Ying (2009). "Diskussion af: Brownsk afstandskovarians" . Annals of Applied Statistics . 3 (4): 1266–1269. doi : 10.1214/09-AOAS312A .
• Gini, C. (1912). Variabilità og Mutabilità . Bologna: Tipografia di Paolo Cuppini. Bibcode : 1912vamu.book ..... G .
• Kosorok, Michael R. (2009). "Diskussion af: Brownsk afstandskovarians". Annals of Applied Statistics . 3 (4): 1270–1278. arXiv : 1010.0822 . doi : 10.1214/09-AOAS312B . S2CID  88518490 .
• Pearson, K. (1895). "Note om regression og arv i tilfælde af to forældre". Forhandlinger fra Royal Society . 58 : 240–242. Bibcode : 1895RSPS ... 58..240P .
• Pearson, K. (1895). "Noter om korrelationens historie" . Biometrika . 13 : 25–45. doi : 10.1093/biomet/13.1.25 .
• Székely, Gábor J .; Rizzo, Maria L. (2009a). "Brownsk afstandskovarians" . Annals of Applied Statistics . 3 (4): 1236–1265. doi : 10.1214/09-AOAS312 . PMC  2889501 . PMID  20574547 .
• Székely, Gábor J .; Rizzo, Maria L. (2009b). "Duplik: Brownsk afstandskovarians" . Annals of Applied Statistics . 3 (4): 1303–1308. doi : 10.1214/09-AOAS312REJ .
• Székely, Gabor J .; Rizzo, Maria L. (2014). "Delvis afstandskorrelation med metoder til forskelle". Statistikens annaler . 42 (6): 2382–2412. arXiv : 1310.2926 . Bibcode : 2014arXiv1310.2926S . doi : 10.1214/14-AOS1255 . S2CID  55801702 .

eksterne links

• E-statistik (energistatistik)