Gedeeltelijke correlatie - Partial correlation

In de kansrekening en statistiek , partiële correlatie meet de mate van associatie tussen twee willekeurige variabelen , met het effect van een reeks van het regelen van random variabelen verwijderd. Als we geïnteresseerd in het vinden hoeverre er een numerieke relatie tussen twee variabelen van interesse, met behulp van hun correlatiecoëfficiënt geven misleidende resultaten als er een is, verstorende variabele numeriek dat gerelateerd is aan beide variabelen van belang. Deze misleidende informatie kan worden vermeden door te controleren voor de verstorende variabele, wat wordt gedaan door de partiële correlatiecoëfficiënt te berekenen. Dit is precies de motivatie om andere variabelen aan de rechterkant op te nemen in een meervoudige regressie ; maar hoewel meervoudige regressie onbevooroordeelde resultaten geeft voor de effectgrootte , geeft het geen numerieke waarde van een maatstaf voor de sterkte van de relatie tussen de twee variabelen van belang.

Als we bijvoorbeeld economische gegevens hebben over de consumptie, het inkomen en het vermogen van verschillende individuen en we willen zien of er een verband bestaat tussen consumptie en inkomen, zou het niet controleren voor rijkdom bij het berekenen van een correlatiecoëfficiënt tussen consumptie en inkomen een misleidend resultaat, aangezien inkomen numeriek gerelateerd zou kunnen zijn aan rijkdom, wat op zijn beurt numeriek gerelateerd zou kunnen zijn aan consumptie; een gemeten correlatie tussen consumptie en inkomen zou zelfs door deze andere correlaties kunnen worden verontreinigd. Het gebruik van een partiële correlatie vermijdt dit probleem.

Net als de correlatiecoëfficiënt neemt de partiële correlatiecoëfficiënt een waarde aan in het bereik van –1 tot 1. De waarde –1 geeft een perfecte negatieve correlatie weer die voor sommige variabelen controleert (dat wil zeggen, een exacte lineaire relatie waarin hogere waarden van één variabele worden geassocieerd met lagere waarden van de andere); de waarde 1 geeft een perfect positief lineair verband weer, en de waarde 0 geeft aan dat er geen lineair verband is.

De partiële correlatie valt samen met de voorwaardelijke correlatie als de willekeurige variabelen gezamenlijk worden verdeeld als de multivariate normale , andere elliptische , multivariate hypergeometrische , multivariate negatieve hypergeometrische , multinomiale of Dirichlet-verdeling , maar niet in het algemeen anders.

Formele definitie

Formeel is de partiële correlatie tussen X en Y gegeven een set van n controlerende variabelen Z = { Z ₁ , Z ₂ , ..., Z _n }, geschreven ρ _{XY · Z} , de correlatie tussen de residuen e _X en e _Y resulterend uit de lineaire regressie van X met Z en van Y met Z , respectievelijk. De partiële correlatie van de eerste orde (dwz wanneer n = 1) is het verschil tussen een correlatie en het product van de verwijderbare correlaties gedeeld door het product van de vervreemdingscoëfficiënten van de verwijderbare correlaties. De vervreemdingscoëfficiënt en de relatie met gezamenlijke variantie door correlatie zijn beschikbaar in Guilford (1973, pp. 344-345).

Berekening

Lineaire regressie gebruiken

Een eenvoudige manier om de partiële correlatie van de steekproef voor sommige gegevens te berekenen, is door de twee bijbehorende lineaire regressieproblemen op te lossen, de residuen te krijgen en de correlatie tussen de residuen te berekenen . Laat X en Y , zoals hierboven, willekeurige variabelen zijn die reële waarden aannemen, en laat Z de n -dimensionale willekeurige variabele met vectorwaarde zijn. We schrijven x _i , y _i en z _i om de i th van N i.id- waarnemingen aan te duiden van een gezamenlijke kansverdeling over reële willekeurige variabelen X , Y en Z , waarbij z _i is aangevuld met een 1 om een ​​constante mogelijk te maken term in de regressie. Het oplossen van het lineaire regressieprobleem komt neer op het vinden van ( n +1)-dimensionale regressiecoëfficiëntvectoren en zodanig dat ${\displaystyle \mathbf {w} _{X}^{*}}$${\displaystyle \mathbf {w} _{Y}^{*}}$

${\displaystyle \mathbf {w} _{X}^{*}=\arg \min _{\mathbf {w} }\left\{\sum _{i=1}^{N}(x_{i} -\langle \mathbf {w} ,\mathbf {z} _{i}\rangle )^{2}\right\}}$

${\displaystyle \mathbf {w} _{Y}^{*}=\arg \min _{\mathbf {w} }\left\{\sum _{i=1}^{N}(y_{i} -\langle \mathbf {w} ,\mathbf {z} _{i}\rangle )^{2}\right\}}$

waarbij N het aantal waarnemingen is en het scalaire product tussen de vectoren w en v . ${\ Displaystyle \ langle \ mathbf {w} , \ mathbf {v} \ rangle}$

De residuen zijn dan

${\displaystyle e_{X,i}=x_{i}-\langle \mathbf {w} _{X}^{*},\mathbf {z} _{i}\rangle}$

${\displaystyle e_{Y,i}=y_{i}-\langle \mathbf {w} _{Y}^{*},\mathbf {z} _{i}\rangle}$

en het monster partiële correlatie wordt dan gegeven door de gebruikelijke formule voor steekproefcorrelatie , maar tussen deze nieuwe afgeleide waarden:

${\displaystyle {\hat {\rho }}_{XY\cdot \mathbf {Z} }={\frac {N\sum _{i=1}^{N}e_{X,i}e_{Y, i}-\sum _{i=1}^{N}e_{X,i}\sum _{i=1}^{N}e_{Y,i}}{{\sqrt {N\sum _{ i=1}^{N}e_{X,i}^{2}-\left(\sum _{i=1}^{N}e_{X,i}\right)^{2}}}~ {\sqrt {N\sum _{i=1}^{N}e_{Y,i}^{2}-\left(\sum _{i=1}^{N}e_{Y,i}\ rechts)^{2}}}}}}$

${\displaystyle ={\frac {N\sum _{i=1}^{N}e_{X,i}e_{Y,i}}{{\sqrt {N\sum _{i=1}^{ N}e_{X,i}^{2}}}~{\sqrt {N\sum _{i=1}^{N}e_{Y,i}^{2}}}}}.}$

In de eerste uitdrukking zijn de drie termen na mintekens allemaal gelijk aan 0, aangezien elk de som van de residuen bevat van een gewone kleinste-kwadratenregressie .

Voorbeeld

Stel dat we de volgende gegevens hebben over drie variabelen, X , Y en Z :

Als we de Pearson-correlatiecoëfficiënt tussen variabelen X en Y berekenen , is het resultaat ongeveer 0,970, terwijl als we de partiële correlatie tussen X en Y berekenen met behulp van de bovenstaande formule, we een partiële correlatie van 0,919 vinden. De berekeningen zijn gedaan met R met de volgende code.

> X = c(2,4,15,20)
> Y = c(1,2,3,4)
> Z = c(0,0,1,1)
> mm1 = lm(X~Z)
> res1 = mm1$residuals
> mm2 = lm(Y~Z)
> res2 = mm2$residuals
> cor(res1,res2)
[1] 0.919145
> cor(X,Y)
[1] 0.9695016
> generalCorr::parcorMany(cbind(X,Y,Z))
                 
     nami namj partij   partji rijMrji  
[1,] "X"  "Y"  "0.8844" "1"    "-0.1156"
[2,] "X"  "Z"  "0.1581" "1"    "-0.8419"

Het onderste deel van de bovenstaande code rapporteert gegeneraliseerde niet-lineaire partiële correlatiecoëfficiënt tussen X en Y na verwijdering van het niet-lineaire effect van Z op 0,8844. Ook is de gegeneraliseerde partiële correlatiecoëfficiënt tussen X en Z na het verwijderen van het niet-lineaire effect van Y 0,1581. Zie het R-pakket `generalCorr' en de bijbehorende vignetten voor details. Simulatie en andere details staan ​​in Vinod (2017) "Algemene correlatie en kernelcausaliteit met toepassingen in ontwikkelingseconomie", Communications in Statistics - Simulation and Computation, vol. 46, [4513, 4534], online beschikbaar: 29 december 2015, URL https://doi.org/10.1080/03610918.2015.1122048 .

Recursieve formule gebruiken

Het kan rekenkundig duur zijn om de lineaire regressieproblemen op te lossen. In feite kan de partiële correlatie van de n- de-orde (dwz met | Z | = n ) gemakkelijk worden berekend uit drie ( n - 1) partiële correlaties van de derde orde. De partiële correlatie van de nulde orde ρ _{XY ·Ø} is gedefinieerd als de reguliere correlatiecoëfficiënt ρ _XY .

Het geldt, voor wat dan ook ${\displaystyle Z_{0}\in \mathbf {Z} ,}$

${\displaystyle \rho _{XY\cdot \mathbf {Z} }={\frac {\rho _{XY\cdot \mathbf {Z} \setminus \{Z_{0}\}}-\rho _{XZ_ {0}\cdot \mathbf {Z} \setminus \{Z_{0}\}}\rho _{Z_{0}Y\cdot \mathbf {Z} \setminus \{Z_{0}\}}}{ {\sqrt {1-\rho _{XZ_{0}\cdot \mathbf {Z} \setminus \{Z_{0}\}}^{2}}}{\sqrt {1-\rho _{Z_{ 0}Y\cdot \mathbf {Z} \setminus \{Z_{0}\}}^{2}}}}}.}$

Het naïef implementeren van deze berekening als een recursief algoritme levert een exponentiële tijdcomplexiteit op . Deze berekening heeft echter de eigenschap overlappende subproblemen , zodat het gebruik van dynamisch programmeren of het eenvoudigweg cachen van de resultaten van de recursieve aanroepen een complexiteit van . ${\displaystyle {\mathcal {O}}(n^{3})}$

Merk op dat in het geval dat Z een enkele variabele is, dit wordt gereduceerd tot:

${\ displaystyle \ rho _ {XY \ cdot Z} = {\ frac {\ rho _ {XY} - \ rho _ {XZ} \ rho _ {ZY}} {{\ sqrt {1- \ rho _ {XZ} ^ {2}}} {\ sqrt {1- \ rho _ {ZY} ^ {2}}}}}}$

Matrixinversie gebruiken

Na verloop van tijd maakt een andere benadering het mogelijk om alle partiële correlaties te berekenen tussen twee variabelen X _i en X _j van een verzameling V van kardinaliteit n , gegeven alle andere, dwz , als de covariantiematrix Ω = ( ρ _{X i X j} ), is positief bepaald en daarom inverteerbaar . Als we de precisiematrix P = (p _ij ) = Ω ⁻¹ definiëren , hebben we: ${\displaystyle {\mathcal {O}}(n^{3})}$${\displaystyle \mathbf {V} \setminus \{X_{i},X_{j}\}}$

${\ displaystyle \ rho _ {X_ {i} X_ {j} \ cdot \ mathbf {V} \ setminus \ {X_ {i}, X_ {j} \}} = - {\ frac {p_ {ij}} { \sqrt {p_{ii}p_{jj}}}}.}$

Interpretatie

Geometrische interpretatie van partiële correlatie voor het geval van N = 3 waarnemingen en dus een 2-dimensionaal hypervlak

geometrisch

Laat drie variabelen X , Y , Z (waarbij Z de "controle" of "extra variabele" is) gekozen worden uit een gezamenlijke kansverdeling over n variabelen V . Verdere laat v _i , 1 ≤ i ≤ N , zijn N n -dimensionale iid waarnemingen van de verbindingwaarschijnlijkheidsverdeling dan V . We beschouwen dan de N- dimensionale vectoren x (gevormd door de opeenvolgende waarden van X over de waarnemingen), y (gevormd door de waarden van Y ) en z (gevormd door de waarden van Z ).

Het kan worden aangetoond dat de residuen e _X,i afkomstig van de lineaire regressie van X op Z , indien ook beschouwd als een N- dimensionale vector e _X (aangeduid met r _X in de begeleidende grafiek), een scalair product nul hebben met de vector z gegenereerd door Z . Dit betekent dat de residuen vector ligt op ( N -1) -dimensionale hypervlak S _z die loodrecht op z .

Hetzelfde geldt ook voor de residuen e _Y,i die een vector e _Y genereren . De gewenste partiële correlatie is dan de cosinus van de hoek φ tussen de uitsteeksels e _X en e _Y van x en y , respectievelijk op het hypervlak loodrecht op z .

Als voorwaardelijke onafhankelijkheidstest

Met de veronderstelling dat alle betrokken variabelen multivariate Gaussische de deelcorrelatiewaarden ρ _{XY · Z} nul is als en slechts als X is voorwaardelijk onafhankelijk van Y gegeven Z . Deze eigenschap geldt niet in het algemene geval.

Om te testen of een steekproef partiële correlatie impliceert dat de werkelijke partiële correlatie van de populatie verschilt van 0, kan Fisher's z-transformatie van de partiële correlatie worden gebruikt: ${\displaystyle {\hat {\rho }}_{XY\cdot \mathbf {Z} }}$

${\displaystyle z({\hat {\rho }}_{XY\cdot \mathbf {Z} })={\frac {1}{2}}\ln \left({\frac {1+{\hat {\rho }}_{XY\cdot \mathbf {Z} }}{1-{\hat {\rho }}_{XY\cdot \mathbf {Z} }}}\right).}$

De nulhypothese is , worden getoetst aan de tweezijdige alternatief . We verwerpen H ₀ met significantieniveau α als: ${\displaystyle H_{0}:\rho _{XY\cdot \mathbf {Z} }=0}$${\displaystyle H_{A}:\rho _{XY\cdot \mathbf {Z} }\neq 0}$

${\displaystyle {\sqrt {N-|\mathbf {Z} |-3}}\cdot |z({\hat {\rho}}_{XY\cdot \mathbf {Z} })|>\Phi ^ {-1}(1-\alpha /2),}$

waarbij Φ (·) is de cumulatieve verdelingsfunctie van een Gauss-verdeling met nul gemiddelde eenheid standaarddeviatie , en N is de steekproef . Deze z- transformatie is bij benadering en de feitelijke verdeling van de steekproef (partiële) correlatiecoëfficiënt is niet eenvoudig. Er is echter een exacte t-toets beschikbaar op basis van een combinatie van de partiële regressiecoëfficiënt, de partiële correlatiecoëfficiënt en de partiële varianties.

De verdeling van de partiële correlatie van de steekproef is beschreven door Fisher.

Semipartiële correlatie (deelcorrelatie)

De semipartiële (of gedeeltelijke) correlatiestatistiek is vergelijkbaar met de partiële correlatiestatistiek. Beide vergelijken variaties van twee variabelen nadat voor bepaalde factoren is gecontroleerd, maar om de semipartiële correlatie te berekenen, houdt men de derde variabele constant voor X of Y, maar niet voor beide, terwijl men voor de partiële correlatie de derde variabele constant houdt voor beide. De semipartiële correlatie vergelijkt de unieke variatie van de ene variabele (waarbij de variatie geassocieerd met de Z- variabele(n) is verwijderd), met de ongefilterde variatie van de andere, terwijl de partiële correlatie de unieke variatie van de ene variabele vergelijkt met de unieke variatie van de andere .

De semipartiale (of gedeeltelijke) correlatie kan als praktisch relevanter worden beschouwd "omdat deze wordt geschaald naar (dwz ten opzichte van) de totale variabiliteit in de afhankelijke (respons) variabele." Omgekeerd is het theoretisch minder bruikbaar omdat het minder precies is over de rol van de unieke bijdrage van de onafhankelijke variabele.

De absolute waarde van de semipartiële correlatie van X met Y is altijd kleiner dan of gelijk aan die van de partiële correlatie van X met Y . De reden is deze: stel dat de correlatie van X met Z is verwijderd uit X , waardoor de resterende vector e _x . Bij het berekenen van de semipartiële correlatie bevat Y nog steeds zowel unieke variantie als variantie vanwege de associatie met Z . Maar e _x , die niet gecorreleerd met Z , kan slechts een deel van het unieke deel van de variantie van uitleggen Y en niet het deel met betrekking tot Z . Daarentegen moet bij de partiële correlatie alleen e _y (het deel van de variantie van Y dat geen verband houdt met Z ) worden verklaard, dus er is minder variantie van het type dat e _x niet kan verklaren.

Gebruik in tijdreeksanalyse

In tijdreeksanalyse wordt de partiële autocorrelatiefunctie (soms 'partiële correlatiefunctie') van een tijdreeks gedefinieerd, voor lag h , zoals

${\displaystyle \varphi (h)=\rho _{X_{0}X_{h}\,\cdot \,\{X_{1},\,\dots \,,X_{h-1}\}} .}$

Deze functie wordt gebruikt om de juiste lag-lengte voor een autoregressie te bepalen .

Zie ook

• Lineaire regressie
• Voorwaardelijke onafhankelijkheid
• Meerdere correlatie

Referenties

Externe links

• Prokhorov, AV (2001) [1994], "Gedeeltelijke correlatiecoëfficiënt" , Encyclopedia of Mathematics , EMS Press
• Wiskundige formules in de sectie "Beschrijving" van de IMSL Numerical Library PCORR-routine
• Een voorbeeld met drie variabelen