Multivariat normalfordeling - Multivariate normal distribution

Multivariat normalt

Sandsynlighedstæthedsfunktion Mange prøvepunkter fra en multivariat normalfordeling med og , vist sammen med 3-sigma-ellipsen, de to marginale fordelinger og de to 1-d histogrammer.${\ displaystyle {\ boldsymbol {\ mu}} = \ venstre [{\ begin {smallmatrix} 0 \\ 0 \ end {smallmatrix}} \ right]}$${\ displaystyle {\ boldsymbol {\ Sigma}} = \ venstre [{\ begin {smallmatrix} 1 & 3/5 \\ 3/5 & 2 \ end {smallmatrix}} \ højre]}$
Notation	${\ displaystyle {\ mathcal {N}} ({\ boldsymbol {\ mu}}, \, {\ boldsymbol {\ Sigma}})}$
Parametre	μ ∈ R k - placering Σ ∈ R k  ×  k - kovarians ( positiv semi-bestemt matrix )
Support	x ∈ μ + spændvidde ( Σ ) ⊆ R k
PDF	${\ displaystyle (2 \ pi)^{-{\ frac {k} {2}}} \ det ({\ boldsymbol {\ Sigma}})^{-{\ frac {1} {2}}} \, e^{ -{\ frac {1} {2}} (\ mathbf {x} -{\ boldsymbol {\ mu}})^{\! {\ mathsf {T}}} {\ boldsymbol {\ Sigma}} ^{ -1} (\ mathbf {x} -{\ boldsymbol {\ mu}})},}$ eksisterer kun, når Σ er positivt-bestemt
Betyde	μ
Mode	μ
Variation	Σ
Entropi	${\ displaystyle {\ frac {1} {2}} \ ln \ left ((2 \ pi \ mathrm {e})^{k} \ det \ left ({\ boldsymbol {\ Sigma}} \ right) \ right )}}$
MGF	${\ displaystyle \ exp \! {\ Big (} {\ boldsymbol {\ mu}}^{\! {\ mathsf {T}}} \ mathbf {t} +{\ tfrac {1} {2}} \ mathbf {t} ^{\! {\ mathsf {T}}} {\ boldsymbol {\ Sigma}} \ mathbf {t} {\ Big)}}$
CF	${\ displaystyle \ exp \! {\ Big (} i {\ boldsymbol {\ mu}}^{\! {\ mathsf {T}}} \ mathbf {t} -{\ tfrac {1} {2}} \ mathbf {t} ^{\! {\ mathsf {T}}} {\ boldsymbol {\ Sigma}} \ mathbf {t} {\ Big)}}$
Kullback-Leibler divergens	se nedenunder

I sandsynlighedsteori og statistik er den multivariate normalfordeling , multivariate gaussiske fordeling eller fælles normalfordeling en generalisering af den endimensionelle ( univariate ) normalfordeling til højere dimensioner . En definition er, at en tilfældig vektor siges at være k -variat normalfordelt, hvis hver lineær kombination af dens k -komponenter har en univariat normalfordeling. Dens betydning stammer hovedsageligt fra den multivariate centrale grænsesætning . Den multivariate normalfordeling bruges ofte til at beskrive, i det mindste cirka, ethvert sæt (muligvis) korrelerede reelt værdsatte tilfældige variabler, der hver især klynger sig omkring en middelværdi.

Definitioner

Notation og parametrering

Den multivariate normalfordeling af en k -dimensionel tilfældig vektor kan skrives i følgende notation: ${\ displaystyle \ mathbf {X} = (X_ {1}, \ ldots, X_ {k})^{\ mathrm {T}}}$

${\ displaystyle \ mathbf {X} \ \ sim \ {\ mathcal {N}} ({\ boldsymbol {\ mu}}, \, {\ boldsymbol {\ Sigma}}),}$

eller for at gøre det eksplicit kendt, at X er k -dimensionel,

${\ displaystyle \ mathbf {X} \ \ sim \ {\ mathcal {N}} _ {k} ({\ boldsymbol {\ mu}}, \, {\ boldsymbol {\ Sigma}}),}$

med k -dimensionel middelvektor

${\ displaystyle {\ boldsymbol {\ mu}} = \ operatorname {E} [\ mathbf {X}] = (\ operatorname {E} [X_ {1}], \ operatorname {E} [X_ {2}], \ ldots, \ operatorname {E} [X_ {k}])^{\ textbf {T}},}$

og kovariansmatrix${\ displaystyle k \ gange k}$

${\ displaystyle \ Sigma _ {i, j} = \ operatorname {E} [(X_ {i}-\ mu _ {i}) (X_ {j}-\ mu _ {j})] = \ operatorname {Cov } [X_ {i}, X_ {j}]}$

således at den inverse af kovariansmatrixen kaldes præcision matrix, betegnet med . ${\ displaystyle 1 \ leq i, j \ leq k.}$${\ displaystyle {\ boldsymbol {Q}} = {\ boldsymbol {\ Sigma}}^{-1}}$

Standard normal tilfældig vektor

En reel tilfældig vektor kaldes en normal normal tilfældig vektor, hvis alle dens komponenter er uafhængige, og hver er en nul-middelværdien enhedsvarians, normalt fordelt tilfældig variabel, dvs. hvis for alle . ${\ displaystyle \ mathbf {X} = (X_ {1}, \ ldots, X_ {k})^{\ mathrm {T}}}$${\ displaystyle X_ {n}}$${\ displaystyle X_ {n} \ sim \ {\ mathcal {N}} (0,1)}$${\ displaystyle n}$

Centreret normal tilfældig vektor

En rigtig tilfældig vektor kaldes en centreret normal tilfældig vektor, hvis der findes en deterministisk matrix , der har samme fordeling som hvor er en standard normal tilfældig vektor med komponenter. ${\ displaystyle \ mathbf {X} = (X_ {1}, \ ldots, X_ {k})^{\ mathrm {T}}}$${\ displaystyle k \ times \ ell}$${\ displaystyle {\ boldsymbol {A}}}$${\ displaystyle {\ boldsymbol {A}} \ mathbf {Z}}$${\ displaystyle \ mathbf {X}}$${\ displaystyle \ mathbf {Z}}$${\ displaystyle \ ell}$

Normal tilfældig vektor

En rigtig tilfældig vektor kaldes en normal tilfældig vektor, hvis der eksisterer en tilfældig -vektor , som er en standard normal tilfældig vektor, en -vektor og en matrix , sådan at . ${\ displaystyle \ mathbf {X} = (X_ {1}, \ ldots, X_ {k})^{\ mathrm {T}}}$${\ displaystyle \ ell}$${\ displaystyle \ mathbf {Z}}$${\ displaystyle k}$${\ displaystyle \ mathbf {\ mu}}$${\ displaystyle k \ times \ ell}$${\ displaystyle {\ boldsymbol {A}}}$${\ displaystyle \ mathbf {X} = {\ boldsymbol {A}} \ mathbf {Z} +\ mathbf {\ mu}}$

Formelt:

Her kovariansmatricen er . ${\ displaystyle {\ boldsymbol {\ Sigma}} = {\ boldsymbol {A}} {\ boldsymbol {A}}^{\ mathrm {T}}}$

I det degenererede tilfælde, hvor kovariansmatricen er ental , har den tilsvarende fordeling ingen densitet; se afsnittet herunder for detaljer. Denne sag opstår ofte i statistikker ; for eksempel i fordelingen af restvektoren i den normale regression med mindst kvadrater . De er generelt ikke uafhængige; de kan ses som et resultat af anvendelse af matrixen til en samling af uafhængige gaussiske variabler . ${\ displaystyle X_ {i}}$${\ displaystyle {\ boldsymbol {A}}}$${\ displaystyle \ mathbf {Z}}$

Ækvivalente definitioner

De følgende definitioner svarer til definitionen ovenfor. En tilfældig vektor har en multivariat normalfordeling, hvis den opfylder en af ​​følgende ækvivalente betingelser. ${\ displaystyle \ mathbf {X} = (X_ {1}, \ ldots, X_ {k})^{T}}$

• Hver lineær kombination af dets komponenter er normalt fordelt . Det vil sige, at for enhver konstant vektor har den tilfældige variabel en univariat normalfordeling, hvor en univariat normalfordeling med nulvarians er en punktmasse på middelværdien.${\ displaystyle Y = a_ {1} X_ {1} +\ cdots +a_ {k} X_ {k}}$${\ displaystyle \ mathbf {a} \ in \ mathbb {R} ^{k}}$${\ displaystyle Y = \ mathbf {a} ^{\ mathrm {T}} \ mathbf {X}}$
• Der er en k -vector og en symmetrisk, positiv semidefinite matrix , således at den karakteristiske funktion af sige${\ displaystyle \ mathbf {\ mu}}$ ${\ displaystyle k \ gange k}$${\ displaystyle {\ boldsymbol {\ Sigma}}}$${\ displaystyle \ mathbf {X}}$

${\ displaystyle \ varphi _ {\ mathbf {X}} (\ mathbf {u}) = \ exp {\ Big (} i \ mathbf {u} ^{T} {\ boldsymbol {\ mu}}-{\ tfrac {1} {2}} \ mathbf {u} ^{T} {\ boldsymbol {\ Sigma}} \ mathbf {u} {\ Big)}.}$

Den sfæriske normalfordeling kan karakteriseres som den unikke fordeling, hvor komponenter er uafhængige i ethvert ortogonalt koordinatsystem.

Tæthedsfunktion

Bivariate normal fælles densitet

Ikke-degenereret sag

Den multivariate normalfordeling siges at være "ikke-degenereret", når den symmetriske kovariansmatrix er positiv bestemt . I dette tilfælde har fordelingen tæthed${\ displaystyle {\ boldsymbol {\ Sigma}}}$

hvor er en reel k -dimensionel søjlevektor og er determinanten for , også kendt som den generaliserede varians . Ovenstående ligning reduceres til den for den univariate normalfordeling, hvis er en matrix (dvs. et enkelt reelt tal). ${\ displaystyle {\ mathbf {x}}}$${\ displaystyle | {\ boldsymbol {\ Sigma}} | \ equiv \ det {\ boldsymbol {\ Sigma}}}$${\ displaystyle {\ boldsymbol {\ Sigma}}}$${\ displaystyle {\ boldsymbol {\ Sigma}}}$${\ displaystyle 1 \ times 1}$

Den cirkulært symmetriske version af den komplekse normalfordeling har en lidt anden form.

Hvert iso-densitets locus -locus af punkter i k -dimensionelt rum, der hver især giver den samme særlige værdi af densiteten-er en ellipse eller dens højere dimensionelle generalisering; derfor er den multivariate normal et specielt tilfælde af elliptiske fordelinger .

Mængden er kendt som Mahalanobis -afstanden , som repræsenterer testpunktets afstand fra middelværdien . Bemærk, at i det tilfælde , hvor fordelingen reduceres til en univariat normalfordeling, og Mahalanobis -afstanden reduceres til den absolutte værdi af standardscoren . Se også interval herunder. ${\ displaystyle {\ sqrt {({\ mathbf {x}}-{\ boldsymbol {\ mu}})^{\ mathrm {T}} {\ boldsymbol {\ Sigma}}^{-1} ({\ mathbf {x}}-{\ boldsymbol {\ mu}})}}}}$${\ displaystyle {\ mathbf {x}}}$${\ displaystyle {\ boldsymbol {\ mu}}}$${\ displaystyle k = 1}$

Bivariat sag

I det 2-dimensionelle ikke-engelske tilfælde ( ) er sandsynlighedstæthedsfunktionen for en vektor : ${\ displaystyle k = \ operatorname {rank} \ left (\ Sigma \ right) = 2}$${\ displaystyle {\ text {[XY] ′}}}$

${\ displaystyle f (x, y) = {\ frac {1} {2 \ pi \ sigma _ {X} \ sigma _ {Y} {\ sqrt {1- \ rho ^{2}}}}} \ exp \ venstre (-{\ frac {1} {2 (1- \ rho ^{2})}} \ venstre [\ venstre ({\ frac {x- \ mu _ {X}} {\ sigma _ {X} }} \ højre)^{2} -2 \ rho \ venstre ({\ frac {x- \ mu _ {X}} {\ sigma _ {X}}} \ højre) \ venstre ({\ frac {y- \ mu _ {Y}} {\ sigma _ {Y}}} \ højre)+\ venstre ({\ frac {y- \ mu _ {Y}} {\ sigma _ {Y}}} \ højre)^{ 2} \ højre] \ højre)}$

hvor er sammenhængen mellem og og hvor og . I dette tilfælde, ${\ displaystyle \ rho}$${\ displaystyle X}$${\ displaystyle Y}$${\ displaystyle \ sigma _ {X}> 0}$${\ displaystyle \ sigma _ {Y}> 0}$

${\ displaystyle {\ boldsymbol {\ mu}} = {\ begin {pmatrix} \ mu _ {X} \\\ mu _ {Y} \ end {pmatrix}}, \ quad {\ boldsymbol {\ Sigma}} = {\ begin {pmatrix} \ sigma _ {X}^{2} & \ rho \ sigma _ {X} \ sigma _ {Y} \\\ rho \ sigma _ {X} \ sigma _ {Y} & \ sigma _ {Y}^{2} \ end {pmatrix}}.}$

I det bivariate tilfælde kan den første ækvivalente betingelse for multivariat rekonstruktion af normalitet gøres mindre restriktiv, da det er tilstrækkeligt til at verificere, at utallige mange forskellige lineære kombinationer af og er normale for at konkludere, at vektoren er bivariat normal. ${\ displaystyle X}$${\ displaystyle Y}$${\ displaystyle {\ text {[XY] ′}}}$

De bivariate iso-densitets loci plottet i -planet er ellipser , hvis hovedakser er defineret af kovariansematrixens egenvektorer ( ellipsens større og mindre halvdiametre er lig med kvadratroden af ​​de ordnede egenværdier). ${\ displaystyle x, y}$${\ displaystyle {\ boldsymbol {\ Sigma}}}$

Bivariat normalfordeling centreret med en standardafvigelse på 3 i nogenlunde retningen og 1 i den ortogonale retning.${\ displaystyle (1,3)}$${\ displaystyle (0.878,0.478)}$

Når den absolutte værdi af korrelationsparameteren stiger, presses disse loci mod følgende linje: ${\ displaystyle \ rho}$

${\ displaystyle y (x) = \ operatorname {sgn} (\ rho) {\ frac {\ sigma _ {Y}} {\ sigma _ {X}}} (x- \ mu _ {X})+\ mu _ {Y}.}$

Dette skyldes, at dette udtryk, med (hvor sgn er Sign funktion ) erstattet af , er den bedste lineære unbiased forudsigelse af givet en værdi på . ${\ displaystyle \ operatorname {sgn} (\ rho)}$${\ displaystyle \ rho}$${\ displaystyle Y}$${\ displaystyle X}$

Degenereret sag

Hvis kovariansmatrixen ikke er fuld rang, er den multivariate normalfordeling degenereret og har ikke en densitet. Mere præcist har den ikke en densitet med hensyn til k -dimensionel Lebesgue -måling (som er den sædvanlige måling, der antages i sandsynlighedsforløb på beregningsniveau). Kun tilfældige vektorer, hvis fordelinger er absolut kontinuerlige med hensyn til et mål, siges at have densiteter (med hensyn til dette mål). For at tale om tætheder, men undgå at håndtere målteoretiske komplikationer, kan det være enklere at begrænse opmærksomheden til en delmængde af koordinaterne for sådan, at kovariansmatrixen for denne delmængde er positiv bestemt; så kan de andre koordinater betragtes som en affin funktion af disse udvalgte koordinater. ${\ displaystyle {\ boldsymbol {\ Sigma}}}$${\ displaystyle \ operatorname {rank} ({\ boldsymbol {\ Sigma}})}$${\ displaystyle \ mathbf {x}}$

For at tale om tætheder meningsfuldt i entallige tilfælde må vi vælge et andet grundmål. Brug af disintegration teorem vi kan definere en begrænsning af Lebesgue foranstaltning til den dimensional affine underrum af hvor Gauss fordeling er understøttet, dvs. . Med hensyn til dette mål har fordelingen tætheden af ​​følgende motiv: ${\ displaystyle \ operatorname {rank} ({\ boldsymbol {\ Sigma}})}$${\ displaystyle \ mathbb {R} ^{k}}$${\ displaystyle \ {{\ boldsymbol {\ mu}}+{\ boldsymbol {\ Sigma ^{1/2}}} \ mathbf {v}: \ mathbf {v} \ in \ mathbb {R} ^{k} \}}$

${\ displaystyle f (\ mathbf {x}) = \ left (\ det \ nolimits ^{*} (2 \ pi {\ boldsymbol {\ Sigma}}) \ right) ^{-{\ frac {1} {2 }}} \, e^{ -{\ frac {1} {2}} (\ mathbf {x} -{\ boldsymbol {\ mu}})^{\! {\ mathsf {T}}} {\ boldsymbol {\ Sigma}}^{+} (\ mathbf {x} -{\ boldsymbol {\ mu}})}}$

hvor er den generaliserede inverse og det* er pseudo-determinanten . ${\ displaystyle {\ boldsymbol {\ Sigma}}^{+}}$

Kumulativ fordelingsfunktion

Begrebet kumulativ fordelingsfunktion (cdf) i dimension 1 kan udvides på to måder til det flerdimensionale tilfælde, baseret på rektangulære og ellipsoide områder.

Den første måde er at definere cdf af en tilfældig vektor som sandsynligheden for, at alle komponenter er mindre end eller lig med de tilsvarende værdier i vektoren : ${\ displaystyle F (\ mathbf {x})}$${\ displaystyle \ mathbf {X}}$${\ displaystyle \ mathbf {X}}$${\ displaystyle \ mathbf {x}}$

${\ displaystyle F (\ mathbf {x}) = \ mathbb {P} (\ mathbf {X} \ leq \ mathbf {x}), \ quad {\ text {hvor}} \ mathbf {X} \ sim {\ matematik {N}} ({\ boldsymbol {\ mu}}, \, {\ boldsymbol {\ Sigma}}).}$

Selvom der ikke er nogen lukket form for , er der en række algoritmer, der estimerer det numerisk . ${\ displaystyle F (\ mathbf {x})}$

En anden måde er at definere cdf som sandsynligheden for, at en prøve ligger inde i ellipsoiden bestemt af dens Mahalanobis -afstand fra Gaussian, en direkte generalisering af standardafvigelsen. For at beregne værdierne for denne funktion findes der lukkede analytiske formler som følger. ${\ displaystyle F (r)}$ ${\ displaystyle r}$

Interval

Den interval for flerdimensionale normalfordeling giver en region bestående af de vektorer x opfylder

${\ displaystyle ({\ mathbf {x}}-{\ boldsymbol {\ mu}})^{T} {\ boldsymbol {\ Sigma}}^{-1} ({\ mathbf {x}}-{\ boldsymbol {\ mu}}) \ leq \ chi _ {k}^{2} (p).}$

Her er en -dimensionel vektor, er den kendte -dimensionelle middelvektor, er den kendte kovariansmatrix og er den kvantile funktion for sandsynlighed for chi -kvadratfordelingen med frihedsgrader. Når udtrykket definerer det indre af en ellipse og chi-kvadratfordelingen forenkles til en eksponentiel fordeling med middelværdi lig med to (hastighed lig med halvdelen). ${\ displaystyle {\ mathbf {x}}}$${\ displaystyle k}$${\ displaystyle {\ boldsymbol {\ mu}}}$${\ displaystyle k}$${\ displaystyle {\ boldsymbol {\ Sigma}}}$${\ displaystyle \ chi _ {k}^{2} (p)}$${\ displaystyle p}$${\ displaystyle k}$${\ displaystyle k = 2,}$

Komplementær kumulativ fordelingsfunktion (halefordeling)

Den komplementære kumulative fordelingsfunktion (CCDF) eller hale fordelingen er defineret som . Når , så kan ccdf som sandsynlighed skrives maksimum af afhængige gaussiske variabler: ${\ displaystyle {\ overline {F}} (\ mathbf {x}) = 1- \ mathbb {P} (\ mathbf {X} \ leq \ mathbf {x})}$${\ displaystyle \ mathbf {X} \ sim {\ mathcal {N}} ({\ boldsymbol {\ mu}}, \, {\ boldsymbol {\ Sigma}})}}$

${\ displaystyle {\ overline {F}} (\ mathbf {x}) = \ mathbb {P} (\ cup _ {i} \ {X_ {i} \ geq x_ {i} \}) = \ mathbb {P } (\ max _ {i} Y_ {i} \ geq 0), \ quad {\ text {hvor}} \ mathbf {Y} \ sim {\ mathcal {N}} ({\ boldsymbol {\ mu}}- \ mathbf {x}, \, {\ boldsymbol {\ Sigma}}).}$

Selvom der ikke findes en simpel lukket formel til beregning af ccdf, kan maksimumet for afhængige gaussiske variabler estimeres nøjagtigt via Monte Carlo -metoden .

Ejendomme

Sandsynlighed i forskellige domæner

Øverst: sandsynligheden for en bivariat normal i domænet (blå områder). Midt: sandsynligheden for en trivial normal i et toroidalt domæne. Nederst: konvergerende Monte-Carlo-integral af sandsynligheden for en 4-variabel normal i det 4d regulære polyhedrale domæne defineret af . Disse er alle beregnet ved hjælp af den numeriske metode til strålesporing.${\ displaystyle x \ sin åå \ cos x> 1}$${\ displaystyle \ sum _ {i = 1}^{4} \ vert x_ {i} \ vert <1}$

Sandsynlighedsindholdet i den multivariate normal i et kvadratisk domæne defineret af (hvor er en matrix, er en vektor og er en skalar), som er relevant for Bayesiansk klassifikation/beslutningsteori ved hjælp af gaussisk diskriminant analyse, er givet af den generaliserede chi- kvadratisk fordeling . Sandsynlighedsindholdet inden for ethvert generelt domæne defineret af (hvor er en generel funktion) kan beregnes ved hjælp af den numeriske metode til strålesporing ( Matlab-kode ). ${\ displaystyle q ({\ boldsymbol {x}}) = {\ boldsymbol {x}} '\ mathbf {Q_ {2}} {\ boldsymbol {x}}+{\ boldsymbol {q_ {1}}}' '{ \ boldsymbol {x}}+q_ {0}> 0}$${\ displaystyle \ mathbf {Q_ {2}}}$${\ displaystyle {\ boldsymbol {q_ {1}}}}$${\ displaystyle q_ {0}}$${\ displaystyle f ({\ boldsymbol {x}})> 0}$${\ displaystyle f ({\ boldsymbol {x}})}$

Højere øjeblikke

De k th ordens momenter af x er givet ved

${\ displaystyle \ mu _ {1, \ ldots, N} (\ mathbf {x}) \ {\ stackrel {\ mathrm {def}} {=}} \ \ mu _ {r_ {1}, \ ldots, r_ {N}} (\ mathbf {x}) \ {\ stackrel {\ mathrm {def}} {=}} \ operatorname {E} \ left [\ prod _ {j = 1}^{N} X_ {j} ^{r_ {j}} \ højre]}$

hvor r ₁ + r ₂ + ⋯ + r _N = k .

De k centrale øjeblikke th ordens er som følger

${\ displaystyle \ mu _ {1, \ dots, 2 \ lambda} (\ mathbf {x} -{\ boldsymbol {\ mu}}) = \ sum \ left (\ sigma _ {ij} \ sigma _ {k \ ell} \ cdots \ sigma _ {XZ} \ højre)}$

hvor summen overtages alle tildelinger af sættet i λ (uordnede) par. Det vil sige, at for et k th (= 2 λ = 6) centralt moment summerer man produkterne af λ = 3 kovarianser (den forventede værdi μ antages at være 0 i parsimonens interesse): ${\ displaystyle \ left \ {1, \ ldots, 2 \ lambda \ right \}}$

${\ displaystyle {\ begin {align} & \ operatorname {E} [X_ {1} X_ {2} X_ {3} X_ {4} X_ {5} X_ {6}] \\ [8pt] = {} & \ operatorname {E} [X_ {1} X_ {2}] \ operatorname {E} [X_ {3} X_ {4}] \ operatorname {E} [X_ {5} X_ {6}]+\ operatorname {E } [X_ {1} X_ {2}] \ operatorname {E} [X_ {3} X_ {5}] \ operatorname {E} [X_ {4} X_ {6}]+\ operatorname {E} [X_ { 1} X_ {2}] \ operatorname {E} [X_ {3} X_ {6}] \ operatorname {E} [X_ {4} X_ {5}] \\ [4pt] & {}+\ operatorname {E } [X_ {1} X_ {3}] \ operatorname {[} X_ {2} X_ {4}] \ operatorname {E} [X_ {5} X_ {6}]+\ operatorname {E} [X_ {1 } X_ {3}] \ operatorname {E} [X_ {2} X_ {5}] \ operatorname {E} [X_ {4} X_ {6}]+\ operatorname {E} [X_ {1} X_ {3 }] \ operatorname {E} [X_ {2} X_ {6}] \ operatorname {E} [X_ {4} X_ {5}] \\ [4pt] & {}+\ operatorname {E} [X_ {1 } X_ {4}] \ operatorname {E} [X_ {2} X_ {3}] \ operatorname {E} [X_ {5} X_ {6}]+\ operatorname {E} [X_ {1} X_ {4 }] \ operatorname {E} [X_ {2} X_ {5}] \ operatorname {E} [X_ {3} X_ {6}]+\ operatorname {E} [X_ {1} X_ {4}] \ operatorname {E} [X_ {2} X_ {6}] \ operatorname {E} [X_ {3} X_ {5}] \\ [4pt] & {}+\ operatorname {E} [X_ {1} X_ {5 }]] \ operatorname {E} [X_ {2} X_ {3} ] \ operatorname {E} [X_ {4} X_ {6}]+\ operatorname {E} [X_ {1} X_ {5}] \ operatorname {E} [X_ {2} X_ {4}] \ operatorname { E} [X_ {3} X_ {6}]+\ operatorname {E} [X_ {1} X_ {5}] \ operatorname {E} [X_ {2} X_ {6}] \ operatorname {E} [X_ {3} X_ {4}] \\ [4pt] & {}+\ operatorname {E} [X_ {1} X_ {6}] \ operatorname {E} [X_ {2} X_ {3}] \ operatorname { E} [X_ {4} X_ {5}]+\ operatorname {E} [X_ {1} X_ {6}] \ operatorname {E} [X_ {2} X_ {4}] \ operatorname {E} [X_ {3} X_ {5}]+\ operatorname {E} [X_ {1} X_ {6}] \ operatorname {E} [X_ {2} X_ {5}] \ operatorname {E} [X_ {3} X_ {4}]. \ End {align}}}$

Dette giver udtryk i summen (15 i ovenstående tilfælde), der hver er produktet af λ (i dette tilfælde 3) kovarianser. For øjeblikke i fjerde orden (fire variabler) er der tre udtryk. For sjette orden momenter er der 3 × 5 = 15 termer, og for ottende orden er der 3 × 5 × 7 = 105 termer. ${\ displaystyle {\ tfrac {(2 \ lambda -1)!} {2^{\ lambda -1} (\ lambda -1)!}}}$

Kovarianterne bestemmes derefter ved at erstatte vilkårene på listen med de tilsvarende vilkår på listen, der består af r _1- en, derefter r _2- to osv. For at illustrere dette, undersøges følgende 4.-ordens centrale moment-case: ${\ displaystyle [1, \ ldots, 2 \ lambda]}$

${\ displaystyle {\ begin {align} \ operatorname {E} \ left [X_ {i}^{4} \ right] & = 3 \ sigma _ {ii}^{2} \\ [4pt] \ operatorname {E } \ venstre [X_ {i}^{3} X_ {j} \ højre] & = 3 \ sigma _ {ii} \ sigma _ {ij} \\ [4pt] \ operatorname {E} \ venstre [X_ {i }^{2} X_ {j}^{2} \ right] & = \ sigma _ {ii} \ sigma _ {jj} +2 \ sigma _ {ij}^{2} \\ [4pt] \ operatorname { E} \ venstre [X_ {i}^{2} X_ {j} X_ {k} \ højre] & = \ sigma _ {ii} \ sigma _ {jk} +2 \ sigma _ {ij} \ sigma _ { ik} \\ [4pt] \ operatorname {E} \ left [X_ {i} X_ {j} X_ {k} X_ {n} \ right] & = \ sigma _ {ij} \ sigma _ {kn}+\ sigma _ {ik} \ sigma _ {jn}+\ sigma _ {in} \ sigma _ {jk}. \ end {align}}}$

hvor er kovariansen af X _i og X _j . Med ovenstående metode finder man først det generelle tilfælde for et k th øjeblik med k forskellige X -variabler , og derefter forenkler man dette i overensstemmelse hermed. For eksempel lader man X _i = X _j, og man bruger det faktum, at . ${\ displaystyle \ sigma _ {ij}}$${\ displaystyle E \ venstre [X_ {i} X_ {j} X_ {k} X_ {n} \ højre]}$${\ displaystyle \ operatorname {E} [X_ {i}^{2} X_ {k} X_ {n}]}$${\ displaystyle \ sigma _ {ii} = \ sigma _ {i}^{2}}$

Funktioner af en normal vektor

a: Sandsynlighedstæthed for en funktion af en enkelt normal variabel med og . b: Sandsynlighedstæthed for en funktion af en normal vektor , med middelværdi og kovarians . c: Varmekort over ledets sandsynlighedstæthed for to funktioner i en normal vektor , med middelværdi og kovarians . d: Sandsynlighedstæthed for en funktion på 4 iid standard normale variabler. Disse beregnes ved hjælp af den numeriske metode til strålesporing.${\ displaystyle \ cos x^{2}}$${\ displaystyle x}$${\ displaystyle \ mu = -2}$${\ displaystyle \ sigma = 3}$${\ displaystyle x^{y}}$${\ displaystyle (x, y)}$${\ displaystyle {\ boldsymbol {\ mu}} = (1,2)}$${\ displaystyle \ mathbf {\ Sigma} = {\ begin {bmatrix} .01 & .016 \\. 016 & .04 \ end {bmatrix}}}$${\ displaystyle (x, y)}$${\ displaystyle {\ boldsymbol {\ mu}} = (-2,5)}$${\ displaystyle \ mathbf {\ Sigma} = {\ begin {bmatrix} 10 & -7 \\-7 & 10 \ end {bmatrix}}}$${\ displaystyle \ sum _ {i = 1}^{4} \ vert x_ {i} \ vert}$

En kvadratisk form af en normal vektor , (hvor er en matrix, er en vektor og er en skalar), er en generaliseret chi-kvadrat- variabel. ${\ displaystyle {\ boldsymbol {x}}}$${\ displaystyle q ({\ boldsymbol {x}}) = {\ boldsymbol {x}} '\ mathbf {Q_ {2}} {\ boldsymbol {x}}+{\ boldsymbol {q_ {1}}}' '{ \ boldsymbol {x}}+q_ {0}}$${\ displaystyle \ mathbf {Q_ {2}}}$${\ displaystyle {\ boldsymbol {q_ {1}}}}$${\ displaystyle q_ {0}}$

Hvis er en generel skalærværdi-funktion af en normal vektor, kan dens sandsynlighedsdensitetsfunktion , kumulative fordelingsfunktion og omvendt kumulativ fordelingsfunktion beregnes med den numeriske metode til strålesporing ( Matlab-kode ). ${\ displaystyle f ({\ boldsymbol {x}})}$

Sandsynlighedsfunktion

Hvis middelværdien og kovariansmatricen er kendt, er logsandsynligheden for en observeret vektor ganske enkelt loggen over sandsynlighedstæthedsfunktionen : ${\ displaystyle {\ boldsymbol {x}}}$

${\ displaystyle \ ln L ({\ boldsymbol {x}}) =-{\ frac {1} {2}} \ venstre [\ ln (| {\ boldsymbol {\ Sigma}} | \,)+({\ fed symbol {x}}-{\ boldsymbol {\ mu}}) '{\ boldsymbol {\ Sigma}}^{-1} ({\ boldsymbol {x}}-{\ boldsymbol {\ mu}})+k \ ln (2 \ pi) \ højre]}$,

Den cirkulært symmetriske version af det ikke -centrale komplekse tilfælde, hvor der er en vektor med komplekse tal, ville være ${\ displaystyle {\ boldsymbol {z}}}$

${\ displaystyle \ ln L ({\ boldsymbol {z}}) =-\ ln (| {\ boldsymbol {\ Sigma}} | \,)-({\ boldsymbol {z}}-{\ boldsymbol {\ mu} })^{\ dolk} {\ boldsymbol {\ Sigma}}^{-1} ({\ boldsymbol {z}}-{\ boldsymbol {\ mu}})-k \ ln (\ pi)}$

dvs. med den konjugerede transponering (angivet med ) erstatter den normale transponering (angivet med ). Dette er lidt anderledes end i det virkelige tilfælde, fordi den cirkulært symmetriske version af den komplekse normalfordeling har en lidt anden form for normaliseringskonstanten . ${\ displaystyle \ dolk}$${\ displaystyle '}$

En lignende notation bruges til multipel lineær regression .

Da log-sandsynligheden for en normal vektor er en kvadratisk form af den normale vektor, distribueres den som en generaliseret chi-kvadrat- variabel.

Differential entropi

Den differentielle entropi i den multivariate normalfordeling er

${\ displaystyle {\ begin {justeret} h \ venstre (f \ højre) & =-\ int _ {-\ infty}^{\ infty} \ int _ {-\ infty}^{\ infty} \ cdots \ int _ {-\ infty}^{\ infty} f (\ mathbf {x}) \ ln f (\ mathbf {x}) \, d \ mathbf {x}, \\ & = {\ frac {1} {2 }} \ ln \ venstre (\ venstre | \ venstre (2 \ pi e \ højre) {\ boldsymbol {\ Sigma}} \ højre | \ højre) = {\ frac {1} {2}} \ ln \ venstre ( \ venstre (2 \ pi e \ højre)^{k} \ venstre | {\ boldsymbol {\ Sigma}} \ højre | \ højre) = {\ frac {k} {2}} \ ln \ venstre (2 \ pi e \ right)+{\ frac {1} {2}} \ ln \ left (\ left | {\ boldsymbol {\ Sigma}} \ right | \ right) = {\ frac {k} {2}}+{ \ frac {k} {2}} \ ln \ venstre (2 \ pi \ højre)+{\ frac {1} {2}} \ ln \ venstre (\ venstre | {\ boldsymbol {\ Sigma}} \ højre | \ højre) \\\ slut {align}}}$

hvor søjlerne angiver matrix -determinanten, og k er vektorrummets dimensionalitet.

Kullback – Leibler divergens

Den Kullback-Leibler divergens fra til , for ikke-singulære matricer o ₁ og o ₀ , er: ${\ displaystyle {\ mathcal {N}} _ {1} ({\ boldsymbol {\ mu}} _ {1}, {\ boldsymbol {\ Sigma}} _ {1})}$${\ displaystyle {\ mathcal {N}} _ {0} ({\ boldsymbol {\ mu}} _ {0}, {\ boldsymbol {\ Sigma}} _ {0})}$

${\ displaystyle D _ {\ text {KL}} ({\ mathcal {N}} _ {0} \ | {\ mathcal {N}} _ {1}) = {1 \ over 2} \ left \ {\ operatorname {tr} \ venstre ({\ boldsymbol {\ Sigma}} _ {1}^{-1} {\ boldsymbol {\ Sigma}} _ {0} \ højre)+\ venstre ({\ boldsymbol {\ mu}} _ {1}-{\ boldsymbol {\ mu}} _ {0} \ right)^{\ rm {T}} {\ boldsymbol {\ Sigma}} _ {1}^{-1} ({\ boldsymbol { \ mu}} _ {1}-{\ boldsymbol {\ mu}} _ {0})-k+\ ln {| {\ boldsymbol {\ Sigma}} _ {1} | \ over | {\ boldsymbol {\ Sigma}} _ {0} |} \ right \},}$

hvor er dimensionen af ​​vektorrummet. ${\ displaystyle k}$

Den Logaritmen skal tages til basen e idet de to udtryk følgende logaritmen selv base- e logaritmiske udtryk, som er enten faktorer af tæthedsfunktionen eller på anden måde opstår naturligt. Ligningen giver derfor et resultat målt i nats . Deling af hele udtrykket ovenfor med log _e  2 giver divergensen i bits .

Hvornår , ${\ displaystyle {\ boldsymbol {\ mu}} _ {1} = {\ boldsymbol {\ mu}} _ {0}}$

${\ displaystyle D _ {\ text {KL}} ({\ mathcal {N}} _ {0} \ | {\ mathcal {N}} _ {1}) = {1 \ over 2} \ left \ {\ operatorname {tr} \ left ({\ boldsymbol {\ Sigma}} _ {1}^{-1} {\ boldsymbol {\ Sigma}} _ {0} \ right) -k+\ ln {| {\ boldsymbol {\ Sigma }} _ {1} | \ over | {\ boldsymbol {\ Sigma}} _ {0} |} \ right \}.}$

Gensidig information

Den gensidige information om en distribution er et særligt tilfælde af Kullback-Leibler-divergensen , hvor den fulde multivariate distribution er et produkt af de 1-dimensionelle marginale fordelinger. I notationen af ​​afsnittet Kullback - Leibler divergens i denne artikel er en diagonal matrix med de diagonale indtastninger af og . Den resulterende formel for gensidig information er: ${\ displaystyle P}$${\ displaystyle Q}$${\ displaystyle {\ boldsymbol {\ Sigma}} _ {1}}$${\ displaystyle {\ boldsymbol {\ Sigma}} _ {0}}$${\ displaystyle {\ boldsymbol {\ mu}} _ {1} = {\ boldsymbol {\ mu}} _ {0}}$

${\ displaystyle I ({\ boldsymbol {X}}) =-{1 \ over 2} \ ln | {\ boldsymbol {\ rho}} _ {0} |,}$

hvor er korrelationsmatricen konstrueret fra . ${\ displaystyle {\ boldsymbol {\ rho}} _ {0}}$${\ displaystyle {\ boldsymbol {\ Sigma}} _ {0}}$

I det bivariate tilfælde er udtrykket for den gensidige information:

${\ displaystyle I (x; y) =-{1 \ over 2} \ ln (1- \ rho ^{2}).}$

Fælles normalitet

Normalt distribueret og uafhængig

Hvis og er normalt fordelt og uafhængigt , betyder det, at de er "fælles normalfordelt", dvs. parret skal have en multivariat normalfordeling. Imidlertid behøver et par fælles normalfordelte variabler ikke at være uafhængige (ville kun være det, hvis det ikke var korreleret ). ${\ displaystyle X}$${\ displaystyle Y}$${\ displaystyle (X, Y)}$${\ displaystyle \ rho = 0}$

To normalfordelte tilfældige variabler behøver ikke at være fælles bivariate normale

Det faktum, at to tilfældige variabler og begge har en normalfordeling, betyder ikke, at parret har en fælles normalfordeling. Et enkelt eksempel er et, hvor X har en normalfordeling med forventet værdi 0 og varians 1, og hvis og hvis , hvor . Der er lignende modeksempler for mere end to tilfældige variabler. Generelt summerer de til en blandingsmodel . ${\ displaystyle X}$${\ displaystyle Y}$${\ displaystyle (X, Y)}$${\ displaystyle Y = X}$${\ displaystyle | X |> c}$${\ displaystyle Y = -X}$${\ displaystyle | X | <c}$${\ displaystyle c> 0}$

Korrelationer og uafhængighed

Generelt kan tilfældige variabler være ukorrelerede, men statistisk afhængige. Men hvis en tilfældig vektor har en multivariat normalfordeling, er to eller flere af dens komponenter, der er ukorrelerede, uafhængige . Dette indebærer, at to eller flere af dets komponenter, der er parvis uafhængige, er uafhængige. Men som påpeget lige ovenfor er det ikke rigtigt, at to tilfældige variabler, der ( separat , marginalt) er normalt fordelt og ikke -korreleret, er uafhængige.

Betingede distributioner

Hvis N -dimensionel x er opdelt som følger

${\ displaystyle \ mathbf {x} = {\ begin {bmatrix} \ mathbf {x} _ {1} \\\ mathbf {x} _ {2} \ end {bmatrix}} {\ text {med størrelser}} { \ begin {bmatrix} q \ times 1 \\ (Nq) \ times 1 \ end {bmatrix}}}$

og følgelig er μ og part opdelt som følger

${\ displaystyle {\ boldsymbol {\ mu}} = {\ begin {bmatrix} {\ boldsymbol {\ mu}} _ {1} \\ {\ boldsymbol {\ mu}} _ {2} \ end {bmatrix}} {\ text {med størrelser}} {\ begin {bmatrix} q \ times 1 \\ (Nq) \ times 1 \ end {bmatrix}}}$

${\ displaystyle {\ boldsymbol {\ Sigma}} = {\ begin {bmatrix} {\ boldsymbol {\ Sigma}} _ {11} & {\ boldsymbol {\ Sigma}} _ {12} \\ {\ boldsymbol {\ Sigma}} _ {21} og {\ boldsymbol {\ Sigma}} _ {22} \ end {bmatrix}} {\ tekst {med størrelser}} {\ begynde {bmatrix} q \ gange q & q \ gange (Nq) \ \ (Nq) \ times q & (Nq) \ times (Nq) \ end {bmatrix}}}$

så er fordelingen af x ₁ betinget af x ₂ = a multivariat normal ( x ₁  |  x ₂ = a ) ~ N ( μ , Σ ) hvor

${\ displaystyle {\ bar {\ boldsymbol {\ mu}}} = {\ boldsymbol {\ mu}} _ {1}+{\ boldsymbol {\ Sigma}} _ {12} {\ boldsymbol {\ Sigma}} _ _ {22}^{ -1} \ venstre (\ mathbf {a} -{\ boldsymbol {\ mu}} _ {2} \ højre)}$

og kovariansmatrix

${\ displaystyle {\ overline {\ boldsymbol {\ Sigma}}} = {\ boldsymbol {\ Sigma}} _ {11}-{\ boldsymbol {\ Sigma}} _ {12} {\ boldsymbol {\ Sigma}} _ _ {22}^{-1} {\ boldsymbol {\ Sigma}} _ {21}.}$

Denne matrix er Schur -komplementet på Σ ₂₂ i Σ . Dette betyder, at for at beregne den betingede kovariansmatrix inverterer man den samlede kovariansmatrix, slipper rækker og kolonner, der svarer til de variabler, der bliver betinget af, og vender derefter tilbage for at få den betingede kovariansmatrix. Her er den generaliserede inverse af . ${\ displaystyle {\ boldsymbol {\ Sigma}} _ {22}^{-1}}$${\ displaystyle {\ boldsymbol {\ Sigma}} _ {22}}$

Bemærk, at kendskab til at x ₂ = a ændrer variansen, selvom den nye varians ikke afhænger af den specifikke værdi af a ; måske mere overraskende forskydes middelværdien med ; sammenligne dette med situationen om ikke at kende værdien af a , i hvilket tilfælde x ₁ ville have distribution . ${\ displaystyle {\ boldsymbol {\ Sigma}} _ {12} {\ boldsymbol {\ Sigma}} _ {22}^{ -1} \ venstre (\ mathbf {a} -{\ boldsymbol {\ mu}} _ {2} \ højre)}$${\ displaystyle {\ mathcal {N}} _ {q} \ venstre ({\ boldsymbol {\ mu}} _ {1}, {\ boldsymbol {\ Sigma}} _ {11} \ right)}$

En interessant kendsgerning afledt for at bevise dette resultat er, at de tilfældige vektorer og er uafhængige. ${\ displaystyle \ mathbf {x} _ {2}}$${\ displaystyle \ mathbf {y} _ {1} = \ mathbf {x} _ {1}-{\ boldsymbol {\ Sigma}} _ {12} {\ boldsymbol {\ Sigma}} _ {22}^{- 1} \ mathbf {x} _ {2}}$

Matrixen Σ ₁₂ Σ ₂₂ ⁻¹ er kendt som matrixen for regressionskoefficienter .

Bivariat sag

I det bivariate tilfælde, hvor x er opdelt i og den betingede fordeling af givne sige ${\ displaystyle X_ {1}}$${\ displaystyle X_ {2}}$${\ displaystyle X_ {1}}$${\ displaystyle X_ {2}}$

${\ displaystyle X_ {1} \ mid X_ {2} = a \ \ sim \ {\ mathcal {N}} \ venstre (\ mu _ {1}+{\ frac {\ sigma _ {1}} {\ sigma _ {2}}} \ rho (a- \ mu _ {2}), \, (1- \ rho ^{2}) \ sigma _ {1} ^{2} \ right).}$

hvor er korrelationskoefficienten mellem og . ${\ displaystyle \ rho}$${\ displaystyle X_ {1}}$${\ displaystyle X_ {2}}$

Bivariat betinget forventning

I det generelle tilfælde

${\ displaystyle {\ begin {pmatrix} X_ {1} \\ X_ {2} \ end {pmatrix}} \ sim {\ mathcal {N}} \ venstre ({\ begin {pmatrix} \ mu _ {1} \ \\ mu _ {2} \ end {pmatrix}}, {\ begin {pmatrix} \ sigma _ {1}^{2} & \ rho \ sigma _ {1} \ sigma _ {2} \\\ rho \ sigma _ {1} \ sigma _ {2} & \ sigma _ {2}^{2} \ end {pmatrix}} \ højre)}$

Den betingede forventning til X ₁ givet X ₂ er:

${\ displaystyle \ operatorname {E} (X_ {1} \ mid X_ {2} = x_ {2}) = \ mu _ {1}+\ rho {\ frac {\ sigma _ {1}} {\ sigma _ {2}}} (x_ {2}-\ mu _ {2})}$

Bevis: resultatet opnås ved at tage forventningen om den betingede fordeling ovenfor. ${\ displaystyle X_ {1} \ midt X_ {2}}$

I centreret kuffert med enhedsafvigelser

${\ displaystyle {\ begin {pmatrix} X_ {1} \\ X_ {2} \ end {pmatrix}} \ sim {\ mathcal {N}} \ venstre ({\ begin {pmatrix} 0 \\ 0 \ end { pmatrix}}, {\ begin {pmatrix} 1 & \ rho \\\ rho & 1 \ end {pmatrix}} \ højre)}$

Den betingede forventning til X ₁ givet X ₂ er

${\ displaystyle \ operatorname {E} (X_ {1} \ mid X_ {2} = x_ {2}) = \ rho x_ {2}}$

og den betingede varians er

${\ displaystyle \ operatorname {var} (X_ {1} \ mid X_ {2} = x_ {2}) = 1- \ rho ^{2};}$

den betingede varians afhænger derfor ikke af x ₂ .

Den betingede forventning til X ₁ givet, at X ₂ er mindre/større end z er:

${\ displaystyle \ operatorname {E} (X_ {1} \ mid X_ {2} <z) =-\ rho {\ phi (z) \ over \ Phi (z)},}$

${\ displaystyle \ operatorname {E} (X_ {1} \ mid X_ {2}> z) = \ rho {\ phi (z) \ over (1- \ Phi (z))}}}$

hvor slutforholdet her kaldes det inverse Mills -forhold .

Bevis: de to sidste resultater opnås ved hjælp af resultatet , således at ${\ displaystyle \ operatorname {E} (X_ {1} \ mid X_ {2} = x_ {2}) = \ rho x_ {2}}$

${\ displaystyle \ operatorname {E} (X_ {1} \ mid X_ {2} <z) = \ rho E (X_ {2} \ mid X_ {2} <z)}$og derefter bruge egenskaberne til forventningen om en afkortet normalfordeling .

Marginale fordelinger

For at opnå den marginale fordeling over en delmængde af multivariate normale tilfældige variabler, behøver man kun slippe de irrelevante variabler (de variabler, man vil marginalisere ud) fra middelvektoren og kovariansmatricen. Beviset for dette følger af definitionerne af multivariate normalfordelinger og lineær algebra.

Eksempel

Lad X = [ X ₁ , X ₂ , X ₃ ] være multivariate normale tilfældige variabler med middelvektor μ = [ μ ₁ , μ ₂ , μ ₃ ] og kovariansmatrix Σ (standardparametrisering for multivariate normalfordelinger). Så er fællesfordelingen af X ′ = [ X ₁ , X ₃ ] multivariat normal med middelvektor μ ′ = [ μ ₁ , μ ₃ ] og kovariansmatrix . ${\ displaystyle {\ boldsymbol {\ Sigma}} '= {\ begin {bmatrix} {\ boldsymbol {\ Sigma}} _ {11} & {\ boldsymbol {\ Sigma}} _ {13} \\ {\ boldsymbol { \ Sigma}} _ {31} og {\ boldsymbol {\ Sigma}} _ {33} \ end {bmatrix}}}$

Affinere transformation

Hvis Y = c + BX er en affin transformation af hvor c er en vektor af konstanter og B er en konstant matrix, så har Y en multivariat normalfordeling med forventet værdi c + Bμ og varians BΣB ^T dvs., . Især har enhver undergruppe af X _i en marginal fordeling, der også er multivariat normal. For at se dette skal du overveje følgende eksempel: for at udtrække undersættet ( X ₁ , X ₂ , X ₄ ) ^T , brug ${\ displaystyle \ mathbf {X} \ \ sim {\ mathcal {N}} ({\ boldsymbol {\ mu}}, {\ boldsymbol {\ Sigma}}),}$${\ displaystyle M \ gange 1}$${\ displaystyle M \ gange N}$${\ displaystyle \ mathbf {Y} \ sim {\ mathcal {N}} \ left (\ mathbf {c} +\ mathbf {B} {\ boldsymbol {\ mu}}, \ mathbf {B} {\ boldsymbol {\ Sigma}} \ mathbf {B} ^{\ rm {T}} \ højre)}$

${\ displaystyle \ mathbf {B} = {\ begin {bmatrix} 1 & 0 & 0 & 0 & 0 & \ ldots & 0 \\ 0 & 1 & 0 & 0 & 0 & \ ldots & 0 \\ 0 & 0 & 0 & 1 & 0 & \ ldots & 0 \ end {bmatrix}}}$

som udtrækker de ønskede elementer direkte.

En anden følge er, at fordelingen af Z = b · X , hvor b er en konstant vektor med samme antal elementer som X og prikken angiver prikproduktet , er univariat Gaussisk med . Dette resultat følger ved at bruge ${\ displaystyle Z \ sim {\ mathcal {N}} \ venstre (\ mathbf {b} \ cdot {\ boldsymbol {\ mu}}, \ mathbf {b} ^{\ rm {T}} {\ boldsymbol {\ Sigma}} \ mathbf {b} \ right)}$

${\ displaystyle \ mathbf {B} = {\ begin {bmatrix} b_ {1} & b_ {2} & \ ldots & b_ {n} \ end {bmatrix}} = \ mathbf {b} ^{\ rm {T}} .}$

Observer, hvordan positiv-bestemtheden af Σ indebærer, at varien af ​​prikproduktet skal være positiv.

En affin transformation af X såsom 2 X ikke er det samme som summen af to uafhængige realiseringer af X .

Geometrisk fortolkning

Equidensitetskonturerne for en ikke-ental multivariat normalfordeling er ellipsoider (dvs. lineære transformationer af hypersfærer ) centreret ved middelværdien. Derfor er den multivariate normalfordeling et eksempel på klassen af elliptiske fordelinger . Retningen for ellipsoidernes hovedakser er givet af kovariansmatrixens egenvektorer . De kvadrerede relative længder af hovedakserne er givet ved de tilsvarende egenværdier. ${\ displaystyle {\ boldsymbol {\ Sigma}}}$

Hvis Σ = UΛU ^T = UΛ ^1/2 ( UΛ ^1/2 ) ^T er en egenkomposition, hvor søjlerne i U er enheds eigenvektorer og Λ er en diagonal matrix af egenværdierne, så har vi

${\ displaystyle \ mathbf {X} \ \ sim {\ mathcal {N}} ({\ boldsymbol {\ mu}}, {\ boldsymbol {\ Sigma}}) \ iff \ mathbf {X} \ \ sim {\ boldsymbol {\ mu}}+\ mathbf {U} {\ boldsymbol {\ Lambda}}^{1/2} {\ mathcal {N}} (0, \ mathbf {I}) \ iff \ mathbf {X} \ \ sim {\ boldsymbol {\ mu}}+\ mathbf {U} {\ mathcal {N}} (0, {\ boldsymbol {\ Lambda}}).}$

Desuden kan U vælges til at være en rotationsmatrix , da invertering af en akse ikke har nogen effekt på N (0, Λ ), men invertering af en kolonne ændrer tegnet på U 's determinant. Fordelingen N ( μ , Σ ) er i virkeligheden N (0, I ) skaleret med Λ ^1/2 , roteret med U og oversat med μ .

Omvendt giver ethvert valg af μ , full rank matrix U og positive diagonale poster Λ _i en ikke-ental multivariat normalfordeling. Hvis nogen Λ _jeg er nul, og U er firkantet, den resulterende kovariansmatrixen UΛU ^T er ental . Geometrisk betyder dette, at hver kontur -ellipsoid er uendelig tynd og har nul volumen i n -dimensionalt rum, da mindst en af ​​hovedaksen har en længde på nul; dette er den degenererede sag .

"Radius omkring det sande middel i en bivariat normal tilfældig variabel, omskrevet i polære koordinater (radius og vinkel), følger en Hoyt-fordeling ."

I en dimension er sandsynligheden for at finde en prøve af normalfordelingen i intervallet cirka 68,27%, men i højere dimensioner er sandsynligheden for at finde en prøve i området for standardafvigelses -ellipsen lavere. ${\ displaystyle \ mu \ pm \ sigma}$

Statistisk slutning

Parameterestimering

Afledning af maksimum-likelihood estimator af kovariansmatricen af en flerdimensionale normalfordeling er ligetil.

Kort sagt er sandsynlighedstæthedsfunktionen (pdf) for en multivariat normal

${\ displaystyle f (\ mathbf {x}) = {\ frac {1} {\ sqrt {(2 \ pi)^{k} | {\ boldsymbol {\ Sigma}} |}}} \ exp \ venstre (- {1 \ over 2} (\ mathbf {x} -{\ boldsymbol {\ mu}})^{\ rm {T}} {\ boldsymbol {\ Sigma}}^{ -1} ({\ mathbf {x} }-{\ boldsymbol {\ mu}}) \ højre)}$

og ML -estimatoren for kovariansmatrixen fra en prøve af n observationer er

${\ displaystyle {\ widehat {\ boldsymbol {\ Sigma}}} = {1 \ over n} \ sum _ {i = 1}^{n} ({\ mathbf {x}} _ {i}-{\ overline {\ mathbf {x}}}) ({\ mathbf {x}} _ {i}-{\ overline {\ mathbf {x}}})^{T}}$

som simpelthen er prøvekovariansmatrixen . Dette er en forudindtaget estimator, hvis forventning er

${\ displaystyle E [{\ widehat {\ boldsymbol {\ Sigma}}}] = {\ frac {n-1} {n}} {\ boldsymbol {\ Sigma}}.}$

En upartisk prøvekovarians er

${\ displaystyle {\ widehat {\ boldsymbol {\ Sigma}}} = {\ frac {1} {n-1}} \ sum _ {i = 1}^{n} (\ mathbf {x} _ {i} -{\ overline {\ mathbf {x}}}) (\ mathbf {x} _ {i}-{\ overline {\ mathbf {x}}})^{\ rm {T}} = {\ frac {1 } {n-1}} \ venstre [X '\ venstre (I-{\ frac {1} {n}} \ cdot J \ højre) X \ højre]}$ (matrixform; er identitetsmatrixen, J er en matrix af dem; udtrykket i parentes er således den centrerende matrix)${\ displaystyle I}$${\ displaystyle K \ gange K}$${\ displaystyle K \ gange K}$${\ displaystyle K \ gange K}$

The Fisher informationsmatricen til estimering af parametrene af en flerdimensionale normalfordeling har en lukket form udtryk. Dette kan f.eks. Bruges til at beregne Cramér – Rao, der er beregnet til parameterestimering i denne indstilling. Se Fisher -oplysninger for flere detaljer.

Bayesisk slutning

I bayesisk statistik er konjugatet forud for middelvektoren en anden multivariat normalfordeling, og konjugatet forud for kovariansmatricen er en invers-Wishart-fordeling . Antag så, at der er foretaget n observationer ${\ displaystyle {\ mathcal {W}}^{-1}}$

${\ displaystyle \ mathbf {X} = \ {\ mathbf {x} _ {1}, \ dots, \ mathbf {x} _ {n} \} \ sim {\ mathcal {N}} ({\ boldsymbol {\ mu}}, {\ boldsymbol {\ Sigma}})}$

og at en konjugeret prior er blevet tildelt, hvor

${\ displaystyle p ({\ boldsymbol {\ mu}}, {\ boldsymbol {\ Sigma}}) = p ({\ boldsymbol {\ mu}} \ mid {\ boldsymbol {\ Sigma}}) \ p ({\ fed symbol {\ Sigma}}),}$