Matrix dekomponering - Matrix decomposition

I den matematiske disiplinen lineær algebra , er en matrisedekomponering eller matriksfaktorisering en faktorisering av en matrise til et produkt av matriser. Det er mange forskjellige matriksnedbrytninger; hver finner bruk blant en bestemt klasse av problemer.

Eksempel

I numerisk analyse , blir forskjellige dekomponeringer som brukes til å implementere effektive matrise algoritmer .

For eksempel, når man løser et system med lineære ligninger , kan matrisen A spaltes via LU-spaltning . Den LU dekomponering factorizes en matrise inn i en nedre triangulær matrise l og en øvre triangulær matrise U . Systemene og krever færre tillegg og multiplikasjoner for å løse, sammenlignet med det opprinnelige systemet , men man kan kreve betydelig flere sifre i unøyaktig aritmetikk som flytende punkt . ${\ displaystyle A \ mathbf {x} = \ mathbf {b}}$ ${\ displaystyle L (U \ mathbf {x}) = \ mathbf {b}}$${\ displaystyle U \ mathbf {x} = L ^ {- 1} \ mathbf {b}}$${\ displaystyle A \ mathbf {x} = \ mathbf {b}}$

Tilsvarende uttrykker QR-dekomponering A som QR med Q en ortogonal matrise og R en øvre trekantet matrise. Systemet Q ( R x ) = b løses av R x = Q ^T b = c , og systemet R x = c løses ved ' tilbakesubstitusjon '. Antall påkrevde tillegg og multiplikasjoner er omtrent det dobbelte av bruk av LU-løseren, men det kreves ikke flere sifre i unøyaktig aritmetikk fordi QR-spaltning er numerisk stabil .

Nedbrytning relatert til å løse systemer av lineære ligninger

LU-spaltning

• Tradisjonelt anvendelig for: kvadratmatrise A , selv om rektangulære matriser kan være anvendbare.
• Nedbrytning:, hvor L er nedre trekantet og U er øvre trekantet${\ displaystyle A = LU}$
• Relatert: LDU- spaltning er , hvor L er lavere trekantet med de på diagonalen, U er øvre trekantede med de på diagonalen, og D er en diagonal matrise . ${\ displaystyle A = LDU}$
• Relatert: LUP- nedbrytningen er , hvor L er nedre trekantet , U er øvre trekantet , og P er en permutasjonsmatrise . ${\ displaystyle A = LUP}$
• Eksistens: En LUP nedbrytning eksisterer for kvadratisk matrise A . Når P er en identitetsmatrise , reduseres LUP-spaltning til LU-spaltning. Hvis LU-spaltning eksisterer, eksisterer LDU-spaltning.
• Kommentarer: LUP- og LU-spaltningene er nyttige for å løse et n- by- n- system med lineære ligninger . Disse spaltningene oppsummerer prosessen med Gauss eliminering i matriseform. Matrise P representerer eventuelle radutvekslinger som utføres i løpet av Gauss eliminering. Hvis Gaussisk eliminering produserer raden echelon form uten å kreve noen rad utvekslinger, så P  =  I , så en LU dekomponering eksisterer. ${\ displaystyle A \ mathbf {x} = \ mathbf {b}}$

LU reduksjon

Blokker LU-spaltning

Rangfaktorisering

• Gjelder for: m -by- n matrise A av rang r
• Nedbrytning: hvor C er en m -by- r full kolonne rangmatrise og F er en r -by- n full rad rangmatrise ${\ displaystyle A = CF}$
• Kommentar: Rangfaktoriseringen kan brukes til å beregne Moore – Penrose pseudoinverse av A , som man kan bruke for å oppnå alle løsninger i det lineære systemet . ${\ displaystyle A \ mathbf {x} = \ mathbf {b}}$

Kolesky nedbrytning

• Gjelder for: kvadratisk , hermitisk , positiv bestemt matrise A
• Nedbrytning: hvor er øvre trekant med virkelige positive diagonale oppføringer ${\ displaystyle A = U ^ {*} U}$${\ displaystyle U}$
• Kommentar: hvis matrisen er hermitisk og positiv semidefinit, har den en spaltning av skjemaet hvis de diagonale oppføringene får være null ${\ displaystyle A}$${\ displaystyle A = U ^ {*} U}$${\ displaystyle U}$
• Unikt: for positive bestemte matriser Kolesky nedbrytning er unik. Imidlertid er det ikke unikt i det positive halvdefinerte tilfellet.
• Kommentar: hvis A er ekte og symmetrisk, har den alle virkelige elementer ${\ displaystyle U}$
• Kommentar: Et alternativ er LDL-spaltning , som kan unngå å trekke ut kvadratrøtter.

QR-spaltning

• Gjelder for: m -by- n matrise A med lineært uavhengige kolonner
• Nedbrytning: hvor er en enhetlig matrise av størrelse m -by- m , og er en øvre trekantet matrise av størrelse m -by- n${\ displaystyle A = QR}$${\ displaystyle Q}$${\ displaystyle R}$
• Unikt: Generelt er det ikke unikt, men hvis det er av full rang , eksisterer det en singel som har alle positive diagonale elementer. Hvis er firkantet, er det også unikt. ${\ displaystyle A}$${\ displaystyle R}$${\ displaystyle A}$${\ displaystyle Q}$
• Kommentar: QR-dekomponering gir en effektiv måte å løse ligningssystemet på . Det at det er ortogonalt betyr at det , så det tilsvarer , som er veldig enkelt å løse siden er trekantet . ${\ displaystyle A \ mathbf {x} = \ mathbf {b}}$${\ displaystyle Q}$${\ displaystyle Q ^ {\ mathrm {T}} Q = I}$${\ displaystyle A \ mathbf {x} = \ mathbf {b}}$${\ displaystyle R \ mathbf {x} = Q ^ {\ mathsf {T}} \ mathbf {b}}$${\ displaystyle R}$

RRQR faktorisering

Interpolativ nedbrytning

Nedbrytning basert på egenverdier og relaterte begreper

Eigend-sammensetning

• Også kalt spektral nedbrytning .
• Gjelder for: kvadratmatrise A med lineært uavhengige egenvektorer (ikke nødvendigvis distinkte egenverdier).
• Dekomponering: hvor D er en diagonal matrise dannet av eigenverdiene av A , og kolonnene med V er de tilsvarende egenvektorene av A . ${\ displaystyle A = VDV ^ {- 1}}$
• Eksistens: En n -by- n matrise A har alltid n (komplekse) egenverdier, som kan bestilles (på mer enn en måte) for å danne en n -by- n diagonal matrise D og en tilsvarende matrise av ikke-null kolonner V som tilfredsstiller den egenverdiligning . er inverterbar hvis og bare hvis n egenvektorene er lineært uavhengige (dvs. at hver egenverdi har geometrisk multiplikasjon som er lik algebraisk mangfold ). En tilstrekkelig (men ikke nødvendig) forutsetning for at dette skal skje er at alle egenverdiene er forskjellige (i dette tilfellet er geometrisk og algebraisk mangfold lik 1) ${\ displaystyle AV = VD}$${\ displaystyle V}$
• Kommentar: Man kan alltid normalisere egenvektorene slik at de har lengde en (se definisjonen av egenverdi ligningen)
• Kommentar: Hver normal matrise A (dvs. matrise som , hvor er et konjugat transponere ), kan komponeres. For en normal matrise A (og bare for en normal matrise), kan egenvektorene også gjøres ortonormale ( ), og den egentlige sammensetningen leser som . Spesielt er alle enhets- , Hermitian- eller skew-Hermitian-matriser (i det virkelige verdien alle ortogonale , symmetriske eller skjev-symmetriske ) matriser normale og har derfor denne egenskapen. ${\ displaystyle AA ^ {*} = A ^ {*} A}$${\ displaystyle A ^ {*}}$ ${\ displaystyle VV ^ {*} = I}$${\ displaystyle A = VDV ^ {*}}$
• Kommentar: For enhver ekte symmetrisk matrise A , eksisterer alltid sammensetningen og kan skrives som , hvor både D og V er reelle verdier . ${\ displaystyle A = VDV ^ {\ mathsf {T}}}$
• Kommentar: Eigensammensetningen er nyttig for å forstå løsningen på et system med lineære ordinære differensiallikninger eller lineære forskjellsligninger. For eksempel, den differanseligning som starter fra utgangstilstanden er løst ved , som er ekvivalent til , hvor V og D er de matriser dannet fra egenvektorene og egenverdiene til A . Siden D er diagonalt, innebærer det å heve det til kraft , bare å heve hvert element på diagonalen til kraften t . Dette er mye lettere å gjøre og forstå enn å heve A til makten t , siden A vanligvis ikke er diagonal. ${\ displaystyle x_ {t + 1} = Ax_ {t}}$${\ displaystyle x_ {0} = c}$${\ displaystyle x_ {t} = A ^ {t} c}$${\ displaystyle x_ {t} = VD ^ {t} V ^ {- 1} c}$${\ displaystyle D ^ {t}}$

Jordan nedbrytning

Den Jordan normale form og Jordan-Chevalley nedbrytning

• Gjelder for: kvadratmatrise A
• Kommentar: Jordan-normalformen generaliserer egen-sammensetningen til tilfeller der det er gjentatte egenverdier og ikke kan diagonaliseres, Jordan-Chevalley-nedbrytningen gjør dette uten å velge et grunnlag.

Schur nedbrytning

• Gjelder for: kvadratmatrise A
• Nedbrytning (kompleks versjon): hvor U er en enhetlig matrise , er konjugatet transponere av U , og T er en øvre trekantet matrise kalt den komplekse Schur-formen som har egenverdiene til A langs sin diagonale. ${\ displaystyle A = UTU ^ {*}}$${\ displaystyle U ^ {*}}$
• Kommentar: hvis A er en normal matrise , er T diagonal og Schur-spaltningen sammenfaller med spektral spaltning.

Ekte Schur-spaltning

• Gjelder for: kvadratmatrise A
• Nedbrytning: Dette er en versjon av Schur-dekomponering hvor og bare inneholder reelle tall. Man kan alltid skrive hvor V er en reell ortogonal matrise , er transponert av V , og S er en blokk øvre trekantet matrise kalt den virkelige Schur-formen . Blokkene på diagonalen av S har størrelse 1 × 1 (i så fall representerer de reelle egenverdier) eller 2 × 2 (i hvilket tilfelle de er avledet fra komplekse konjugerte egenverdipar). ${\ displaystyle V}$${\ displaystyle S}$${\ displaystyle A = VSV ^ {\ mathsf {T}}}$${\ displaystyle V ^ {\ mathsf {T}}}$

QZ nedbrytning

• Også kalt: generalisert Schur-spaltning
• Gjelder: firkantede matriser A og B
• Kommentar: det er to versjoner av denne nedbrytningen: kompleks og ekte.
• Nedbrytning (kompleks versjon): og der Q og Z er enhetlige matriser , representerer * overskrift konjugattransponere , og S og T er øvre trekantede matriser. ${\ displaystyle A = QSZ ^ {*}}$${\ displaystyle B = QTZ ^ {*}}$
• Kommentar: i den komplekse QZ-nedbrytningen er forholdene mellom de diagonale elementene i S og de tilsvarende diagonale elementene i T , de generaliserte egenverdiene som løser det generaliserte egenverdiproblemet (hvor er en ukjent skalar og v er en ukjent ikke-nullvektor). ${\ displaystyle \ lambda _ {i} = S_ {ii} / T_ {ii}}$ ${\ displaystyle A \ mathbf {v} = \ lambda B \ mathbf {v}}$${\ displaystyle \ lambda}$
• Nedbrytning (reell versjon): og hvor A , B , Q , Z , S og T er matriser som bare inneholder reelle tall. I dette tilfellet er Q og Z er ortogonale matriser , den T hevet representerer transponering , og S og T er blokk øvre trekantede matriser. Blokkene på diagonalen S og T har størrelse 1 × 1 eller 2 × 2. ${\ displaystyle A = QSZ ^ {\ mathsf {T}}}$${\ displaystyle B = QTZ ^ {\ mathsf {T}}}$

Takagis faktorisering

• Gjelder til: square, komplekse, symmetrisk matrise A .
• Nedbrytning: hvor D er en reell ikke-negativ diagonal matrise , og V er enhetlig . betegner matrisetransponerte av V . ${\ displaystyle A = VDV ^ {\ mathsf {T}}}$${\ displaystyle V ^ {\ mathsf {T}}}$
• Kommentar: De diagonale elementene i D er de ikke-negative kvadratrøttene til egenverdiene til . ${\ displaystyle AA ^ {*}}$
• Kommentar: V kan være komplisert selv om A er ekte.
• Kommentar: Dette er ikke et spesielt tilfelle av egen sammensetning (se ovenfor), som bruker i stedet for . Dessuten, hvis A ikke er ekte, er det ikke Hermitian, og skjemaet ved bruk gjelder heller ikke. ${\ displaystyle V ^ {- 1}}$${\ displaystyle V ^ {\ mathsf {T}}}$${\ displaystyle V ^ {*}}$

Enkel verdi nedbrytning

• Anvendbar for: m -by- n matrise A .
• Nedbrytning: hvor D er en ikke-negativ diagonal matrise , og U og V tilfredsstiller . Her er konjugat transponere av V (eller bare transponere , hvis V bare inneholder reelle tall), og jeg betegner identitetsmatrisen (av en eller annen dimensjon). ${\ displaystyle A = UDV ^ {*}}$${\ displaystyle U ^ {*} U = I, V ^ {*} V = I}$${\ displaystyle V ^ {*}}$
• Kommentar: De diagonale elementene av D , kalles de singulære verdier av A .
• Kommentar: I likhet med egendekomposisjonen ovenfor, innebærer dekomponering av entallverdi å finne grunnretninger langs hvilke matrisemultiplikasjon er ekvivalent med skalarmultiplikasjon, men den har større generalitet siden matrisen som blir vurdert ikke trenger å være kvadratisk.
• Unikt: Enestående verdier av er alltid unikt bestemt. og trenger ikke å være unik generelt. ${\ displaystyle A}$${\ displaystyle U}$${\ displaystyle V}$

Skala-invariante nedbrytninger

Viser til varianter av eksisterende matrisedekomponering, for eksempel SVD, som er uforanderlige med hensyn til diagonal skalering.

• Anvendbar for: m -by- n matrise A .
• Enhet-Scale-Invariant Konsekvent-verdi Dekomponering: , hvor S er en unik negativ diagonal matrise av avleirings invariant singulære verdier, U og V er enhetlige matriser , er den konjugerte transponerte av V , og positive diagonale matriser D og E . ${\ displaystyle A = DUSV ^ {*} E}$${\ displaystyle V ^ {*}}$
• Kommentar: Er analog med SVD bortsett fra at de diagonale elementene i S er uforanderlige med hensyn til venstre og / eller høyre multiplikasjon av A med vilkårlige ikke-ensformige diagonale matriser, i motsetning til standard SVD som singularverdiene er uforanderlige med hensyn til venstre og / eller høyre multiplikasjon av A med vilkårlige enhetsmatriser.
• Kommentar: er et alternativ til standard SVD når invarians er nødvendig med hensyn til diagonal i stedet for enhetlige transformasjoner av A .
• Unikt: De skala-invariante enkeltverdiene til (gitt av de diagonale elementene i S ) er alltid unikt bestemt. Diagonale matriser D og E , og enhetlige U og V , er ikke nødvendigvis unike generelt. ${\ displaystyle A}$
• Kommentar: U- og V- matriser er ikke de samme som fra SVD.

Analoge skala-invariante nedbrytninger kan være avledet fra andre matrise-nedbrytninger, for eksempel for å oppnå skala-invariante egenverdier.

Andre nedbrytninger

Polær spaltning

• Gjelder til: noen kvadrat kompleks matrise A .
• Nedbrytning: (høyre polær nedbrytning) eller (venstre polær nedbrytning), der U er en enhetlig matrise og P og P ' er positive semidefinerte hermitiske matriser . ${\ displaystyle A = UP}$${\ displaystyle A = P'U}$
• Unikt: er alltid unikt og lik (som alltid er hermitisk og positivt semidefinit). Hvis det er inverterbart, så er det unikt. ${\ displaystyle P}$${\ displaystyle {\ sqrt {A ^ {*} A}}}$${\ displaystyle A}$${\ displaystyle U}$
• Kommentar: Siden enhver Hermitian-matrise innrømmer en spektral nedbrytning med en enhetlig matrise, kan den skrives som . Siden er positiv semidefinite, er alle elementene i ikke-negative. Siden produktet av to enhetlige matriser er enhetlig, kan det å ta en skrive som er dekomponering av entallverdien. Derfor er eksistensen av den polære nedbrytningen ekvivalent med eksistensen av enestående verdi nedbrytning. ${\ displaystyle P}$${\ displaystyle P = VDV ^ {*}}$${\ displaystyle P}$${\ displaystyle D}$${\ displaystyle W = UV}$${\ displaystyle A = U (VDV ^ {*}) = WDV ^ {*}}$

Algebraisk polær nedbrytning

• Anvendelig til: firkantet, kompleks, ikke-singulær matrise A .
• Nedbrytning: hvor Q er en kompleks ortogonal matrise og S er kompleks symmetrisk matrise. ${\ displaystyle A = QS}$
• Unikt: Hvis har ingen negative reelle egenverdier, så er dekomponeringen unik. ${\ displaystyle A ^ {\ mathsf {T}} A}$
• Kommentar: Eksistensen av denne nedbrytningen tilsvarer å være lik . ${\ displaystyle AA ^ {\ mathsf {T}}}$${\ displaystyle A ^ {\ mathsf {T}} A}$
• Kommentar: En variant av denne nedbrytningen er , hvor R er en reell matrise og C er en sirkulær matrise . ${\ displaystyle A = RC}$

Mostows nedbrytning

• Anvendelig til: firkantet, kompleks, ikke-singulær matrise A .
• Nedbrytning: hvor U er enhetlig, er M virkelig antisymmetrisk og S er virkelig symmetrisk. ${\ displaystyle A = Ue ^ {iM} e ^ {S}}$
• Kommentar: Matrisen A kan også spaltes som , hvor U ₂ er enhetlig, M ₂ er reell antisymmetrisk og S ₂ er virkelig symmetrisk. ${\ displaystyle A = U_ {2} e ^ {S_ {2}} e ^ {iM_ {2}}}$

Sinkhorn normal form

• Gjelder: firkantet ekte matrise A med strengt positive elementer.
• Nedbrytning: hvor S er dobbelt stokastisk og D ₁ og D ₂ er ekte diagonale matriser med strengt positive elementer. ${\ displaystyle A = D_ {1} SD_ {2}}$

Sektoriell nedbrytning

• Gjelder: firkantet, kompleks matrise A med numerisk område som finnes i sektoren . ${\ displaystyle S _ {\ alpha} = \ left \ {re ^ {i \ theta} \ in \ mathbb {C} \ mid r> 0, | \ theta | \ leq \ alpha <{\ frac {\ pi} { 2}} \ høyre \}}$
• Nedbrytning: hvor C er en inverterbar kompleks matrise og med alle . ${\ displaystyle A = CZC ^ {*}}$${\ displaystyle Z = \ operatorname {diag} \ left (e ^ {i \ theta _ {1}}, \ ldots, e ^ {i \ theta _ {n}} \ right)}$${\ displaystyle \ left | \ theta _ {j} \ right | \ leq \ alpha}$

Williamsons normale form

• Gjelder for: kvadratisk, positiv-bestemt reell matrise A med rekkefølge 2 n × 2 n .
• Nedbrytning: hvor er en symplektisk matrise og D er en ikke-negativ n- av- n diagonal matrise. ${\ displaystyle A = S ^ {\ mathsf {T}} \ operatorname {diag} (D, D) S}$${\ displaystyle S \ i {\ text {Sp}} (2n)}$

Matrise kvadratrot

• Nedbrytning:, ikke unikt generelt. ${\ displaystyle A = BB}$
• Når det gjelder positiv semidefinite , er det en unik positiv semidefinite slik at . ${\ displaystyle A}$${\ displaystyle B}$${\ displaystyle A = B ^ {*} B = BB}$

Generaliseringer

Det finnes analoger av SVD, QR, LU og Cholesky faktoriseringer for kvasimatriser og cmatriser eller kontinuerlige matriser . En 'quasimatrix' er, som en matrise, et rektangulært skjema hvis elementer er indeksert, men en diskret indeks erstattes av en kontinuerlig indeks. På samme måte er en 'cmatrix' kontinuerlig i begge indeksene. Som et eksempel på en cmatrix kan man tenke på kjernen til en integrert operator .

Disse faktoriseringene er basert på tidlig arbeid av Fredholm (1903) , Hilbert (1904) og Schmidt (1907) . For en konto og en oversettelse til engelsk av seminalpapirene, se Stewart (2011) .

Se også

• Matrix splitting
• Ikke-negativ matrisefaktorisering
• Hovedkomponentanalyse

Referanser

Merknader

Sitater

Bibliografi

• Choudhury, Dipa; Horn, Roger A. (april 1987). "En kompleks ortogonal-symmetrisk analog av den polare nedbrytningen". SIAM Journal om algebraiske og diskrete metoder . 8 (2): 219–225. doi : 10.1137 / 0608019 .
• Fredholm, I. (1903), "Sur une classe d'´equations fonctionnelles", Acta Mathematica (på fransk), 27 : 365–390, doi : 10.1007 / bf02421317
• Hilbert, D. (1904), "Grundzüge einer allgemeinen Theorie der linearen Integralgleichungen", Nachr. Königl. Ges. Gött (på tysk), 1904 : 49–91
• Horn, Roger A .; Merino, Dennis I. (januar 1995). "Contragredient ekvivalens: En kanonisk form og noen applikasjoner" . Lineær algebra og dets applikasjoner . 214 : 43–92. doi : 10.1016 / 0024-3795 (93) 00056-6 .
• Meyer, CD (2000), Matrix Analysis and Applied Linear Algebra , SIAM , ISBN   978-0-89871-454-8
• Schmidt, E. (1907), "Zur Theorie der linearen und nichtlinearen Integralgleichungen. I Teil. Entwicklung willkürlichen Funktionen nach System vorgeschriebener" , Mathematische Annalen (på tysk), 63 (4): 433–476, doi : 10.1007 / bf01449770
• Simon, C .; Blume, L. (1994). Matematikk for økonomer . Norton. ISBN   978-0-393-95733-4 .
• Stewart, GW (2011), Fredholm, Hilbert, Schmidt: tre grunnleggende papirer om integrerte ligninger (PDF) , hentet 06-01-2015
• Townsend, A .; Trefethen, LN (2015), "Kontinuerlige analoger av matrisefaktoriseringer", Proc. R. Soc. A , 471 (2173): 20140585, Bibcode : 2014RSPSA.47140585T , doi : 10.1098 / rspa.2014.0585 , PMC   4277194 , PMID   25568618

Eksterne linker

• Online Matrix Calculator
• Wolfram Alpha Matrix Decomposition Computation »LU og QR Decomposition
• Springer Encyclopaedia of Mathematics »Matrisefaktorisering
• GraphLab GraphLab samarbeidsfilterbibliotek, storskala parallell implementering av matrisedekomponeringsmetoder (i C ++) for multicore.