Esivalmistaja - Preconditioner

On matematiikka , esivakautus- on sovellus muunnoksen, jota kutsutaan esikäsittely- , että olosuhteet tietyn ongelman muotoon, joka sopii paremmin numeerinen ratkaiseminen menetelmiä. Esivakautus tyypillisesti liittyvät pelkistetään konditioluku ongelman. Esivakioitu ongelma ratkaistaan ​​sitten yleensä iteratiivisella menetelmällä .

Esivakio lineaarisille järjestelmille

In lineaarialgebraa ja numeerinen analyysi , joka on esikäsittely- matriisin on matriisi, joka on pienempi ehto numero kuin . On myös tavallista kutsua ennakkovaraaja sen sijaan , että se itsessään on harvoin nimenomaisesti käytettävissä. Nykyaikaisessa esikäsittelyssä sarakevektorin tai pylväsvektorilohkon kertolasku käyttämällä tavallisesti suoritetaan melko hienostuneilla tietokoneohjelmistopaketeilla matriisittomalla tavalla , ts. Missä kumpikaan , eikä (ja usein eivät edes ) ovat nimenomaisesti saatavana matriisimuodossa. ${\ displaystyle P}$${\ displaystyle A}$${\ displaystyle P ^ {- 1} A}$${\ displaystyle A}$${\ displaystyle T = P ^ {- 1}}$${\ displaystyle P}$${\ displaystyle P}$${\ displaystyle T = P ^ {- 1}}$${\ displaystyle T = P ^ {- 1}}$${\ displaystyle P}$${\ displaystyle T = P ^ {- 1}}$${\ displaystyle A}$

Preconditioners ovat käyttökelpoisia iteratiivisia ratkaista lineaarisen järjestelmä varten , koska määrä lähentymisen useimpien iteratiivista lineaarinen ratkaisussa kasvaa, koska ehto määrä matriisin pienenee seurauksena on vakautettu. Esivakioidut iteratiiviset ratkaisijat ylittävät tyypillisesti suorat ratkaisijat, esim. Gaussin eliminaation , suurille, erityisesti harvoille matriiseille. Iteratiivisia ratkaisijoita voidaan käyttää matriisittomina menetelminä , eli niistä tulee ainoa valinta, jos kerroinmatriisia ei ole tallennettu yksiselitteisesti, vaan siihen päästään arvioimalla matriisivektorituotteita. ${\ displaystyle-kirves = b}$${\ displaystyle x}$${\ displaystyle A}$

Kuvaus

Yllä olevan alkuperäisen lineaarisen järjestelmän ratkaisemisen sijasta voidaan harkita oikeaa ennakkovakioitua järjestelmää

${\ displaystyle AP ^ {- 1} (Px) = b}$

ja ratkaise

${\ displaystyle AP ^ {- 1} y = b}$

varten ja ${\ displaystyle y}$

${\ displaystyle Px = y}$

varten . ${\ displaystyle x}$

Vaihtoehtoisesti voidaan ratkaista vasen esikäsitelty järjestelmä

${\ displaystyle P ^ {- 1} (Ax-b) = 0.}$

Molemmat järjestelmät tarjoavat saman ratkaisun kuin alkuperäinen järjestelmä, kunhan esikäsittelymatriisi on ei- kielellinen . Vasen esikäsittely on perinteisempää. ${\ displaystyle P}$

Kaksipuolinen esikäsiteltyjen järjestelmä

${\ displaystyle QAP ^ {- 1} (Px) = Qb}$

voi olla hyödyllistä säilyttää esimerkiksi matriisisymmetria: jos alkuperäinen matriisi on todellisia symmetrisiä ja todellisia ennakkoedellytyksiä ja täyttää, myös esikäsitelty matriisi on symmetrinen. Kaksipuolinen esikäsittely on yleistä diagonaalisella skaalausmenetelmällä, jossa esivalmistelut ja diagonaali ja skaalaus kohdistetaan sekä alkuperäisen matriisin sarakkeisiin että riveihin , esimerkiksi matriisin merkintöjen dynaamisen alueen pienentämiseksi. ${\ displaystyle A}$${\ displaystyle Q}$${\ displaystyle P}$${\ displaystyle Q ^ {T} = P ^ {- 1}}$${\ displaystyle QAP ^ {- 1}}$${\ displaystyle Q}$${\ displaystyle P}$${\ displaystyle A}$

Esivakauttamisen tavoite on vähentää ehtolukua , esim. Vasemman tai oikean esivakioidun järjestelmämatriisin tai . Pienet tilanumerot hyödyttävät iteratiivisten ratkaisijoiden nopeaa lähentymistä ja parantavat ratkaisun vakautta järjestelmän matriisin ja oikean puolen häiriöiden suhteen, esimerkiksi mahdollistavat matriisimerkintöjen aggressiivisemman kvantisoinnin matalammalla tietokoneen tarkkuudella . ${\ displaystyle P ^ {- 1} A}$${\ displaystyle AP ^ {- 1}}$

Esivakioitu matriisi tai muodostuu harvoin nimenomaisesti. Ainoastaan ​​toiminta, jolla ennakkoehdokkaan ratkaisuoperaatio pannaan annettuun vektoriin, voi olla tarpeen laskea. ${\ displaystyle P ^ {- 1} A}$${\ displaystyle AP ^ {- 1}}$${\ displaystyle P ^ {- 1}}$

Tyypillisesti valinnassa on kompromissi . Koska operaattoria on käytettävä iteratiivisen lineaarisen ratkaisijan kussakin vaiheessa, sillä tulisi olla pienet kustannukset (laskenta-aika) operaation soveltamisesta . Halvin esivalmistelija olisi siksi ollut siitä lähtien. Selvästi tämä johtaa alkuperäiseen lineaariseen järjestelmään, eikä esivalmistaja tee mitään. Toisessa ääripäässä valinta antaa sen, jolla on optimaalinen tilanumero 1, joka vaatii yhden iteroinnin lähentymiseen; tässä tapauksessa esivalmisteen käyttö on kuitenkin yhtä vaikeaa kuin alkuperäisen järjestelmän ratkaiseminen. Siksi valitaan näiden kahden ääripään välillä yrittäen saavuttaa mahdollisimman pieni määrä lineaarisia iteraatioita pitäen operaattori mahdollisimman yksinkertaisena. Joitakin esimerkkejä tyypillisistä esikäsittelymenetelmistä on kuvattu alla. ${\ displaystyle P}$${\ displaystyle P ^ {- 1}}$${\ displaystyle P ^ {- 1}}$${\ displaystyle P = I}$${\ displaystyle P ^ {- 1} = I.}$${\ displaystyle P = A}$${\ displaystyle P ^ {- 1} A = AP ^ {- 1} = I,}$${\ displaystyle P ^ {- 1} = A ^ {- 1},}$${\ displaystyle P}$${\ displaystyle P ^ {- 1}}$

Esivakioidut iteratiiviset menetelmät

Esikäsitellyt iteratiivisia menetelmiä ovat, useimmissa tapauksissa, matemaattisesti vastaa standardin iteratiivisia sovelletaan esikäsiteltyjen järjestelmä Esimerkiksi standardi Richardson iteroinnin ratkaisemiseksi on ${\ displaystyle Ax-b = 0}$${\ displaystyle P ^ {- 1} (Ax-b) = 0.}$${\ displaystyle Ax-b = 0}$

${\ displaystyle \ mathbf {x} _ {n + 1} = \ mathbf {x} _ {n} - \ gamma _ {n} (A \ mathbf {x} _ {n} - \ mathbf {b}), \ n \ geq 0.}$

Esivakioituneeseen järjestelmään sovellettuna se muuttuu ennakkomenetelmäksi ${\ displaystyle P ^ {- 1} (Ax-b) = 0,}$

${\ displaystyle \ mathbf {x} _ {n + 1} = \ mathbf {x} _ {n} - \ gamma _ {n} P ^ {- 1} (A \ mathbf {x} _ {n} - \ mathbf {b}), \ n \ geq 0.}$

Esimerkkejä suosituista ennakoitavista iteratiivisista menetelmistä lineaarisille systeemeille ovat ennakkovakioitu konjugaattigradienttimenetelmä , bikonjugaattigradienttimenetelmä ja yleinen minimaalinen jäännösmenetelmä . Iteratiivisia, jotka käyttävät skalaaritulon laskea iteratiivista parametrit, vaativat vastaavat muutokset skalaaritulo yhdessä korvaamalla varten${\ displaystyle P ^ {- 1} (Ax-b) = 0}$${\ displaystyle Ax-b = 0.}$

Matriisin jakaminen

Kiinteä iteratiivista menetelmää määritetään matriisin jakamisen ja iteraatio matriisi . Olettaen että ${\ displaystyle A = MN}$${\ displaystyle C = pikaviesti ^ {- 1} A}$

• systeemimatriisi on symmetrinen positiivinen-määrätty ,${\ displaystyle A}$
• halkaisumatriisi on symmetrinen positiivinen-määrätty ,${\ displaystyle M}$
• paikallaan iteratiivinen menetelmä on yhtenevä, määritettynä ,${\ displaystyle \ rho (C) <1}$

ehto numero on rajoitettu edellä ${\ displaystyle \ kappa (M ^ {- 1} A)}$

${\ displaystyle \ kappa (M ^ {- 1} A) \ leq {\ frac {1+ \ rho (C)} {1- \ rho (C)}} \ ,.}$

Geometrinen tulkinta

Jos symmetrinen positiividefiniitti matriisin esikäsittely valitaan tyypillisesti olla symmetrinen positiividefiniitti samoin. Esikäsitelty operaattori on sitten myös symmetrinen positiividefiniitti, mutta suhteessa -pohjaisen skalaaritulon . Tässä tapauksessa haluttu vaikutus soveltamisessa esikostuttimeen on tehdä neliöllinen muoto on esikäsitelty operaattorin suhteen -pohjainen skalaaritulon lähes pallomaisia. ${\ displaystyle A}$${\ displaystyle P}$${\ displaystyle P ^ {- 1} A}$${\ displaystyle P}$${\ displaystyle P ^ {- 1} A}$${\ displaystyle P}$

Vaihteleva ja epälineaarinen esikäsittely

Ilmaiseva , korostamme että esivakautus käytännössä toteutetaan kertomalla joitakin vektori mukaan , eli laskemalla tuotteen Monissa sovelluksissa, ei anneta matriisina, vaan operaattori toimivan vektorin . Jotkut suositut ennakkoehdokkaat kuitenkin muuttuvat ja riippuvuus niistä ei välttämättä ole lineaarinen. Tyypillisissä esimerkeissä käytetään epälineaarisia iteratiivisia menetelmiä , esim. Konjugaattigradienttimenetelmää osana ennakkoelementin rakennetta. Tällaiset ennakkoehdokkaat voivat olla käytännössä erittäin tehokkaita, mutta heidän käyttäytymistään on vaikea ennustaa teoreettisesti. ${\ displaystyle T = P ^ {- 1}}$${\ displaystyle r}$${\ displaystyle T}$${\ displaystyle Tr.}$${\ displaystyle T}$${\ displaystyle T (r)}$${\ displaystyle r}$${\ displaystyle r}$${\ displaystyle r}$

Satunnainen esikäsittely

Yksi mielenkiintoinen muuttuvan esikäsittelyn tapaus on satunnainen esikäsittely, esim . Satunnaiskurssiruudukkojen moniverkkoinen esikäsittely. Jos sitä käytetään gradientin laskeutumismenetelmissä , satunnaista esikäsittelyä voidaan pitää stokastisen gradientin laskeutumisen toteutuksena ja se voi johtaa nopeampaan konvergenssiin verrattuna kiinteään esivakautukseen, koska se rikkoo gradientin laskeutumisen asymptoottisen "siksak-kuvion" .

Spektrisesti vastaava esikäsittely

Esivakioinnin yleisin käyttö on osittaisten differentiaaliyhtälöiden likiarvojen perusteella saatujen lineaaristen järjestelmien iteratiivinen ratkaisu . Mitä parempi approksimaation laatu, sitä suurempi matriisin koko on. Tällöin optimaalisen esikäsittelyn tavoite on toisaalta saada spektrin kunnon numero rajoittamaan ylhäältä matriisin koosta riippumaton vakio, jota D'yakonov kutsuu spektrisesti vastaavaksi esikäsittelyksi . Toisaalta, sovelluskustannusten tulisi ideaalisesti olla verrannollisia (myös matriisin koosta riippumattomia) vektorin kertomiskustannuksiin . ${\ displaystyle P ^ {- 1} A}$${\ displaystyle P ^ {- 1}}$${\ displaystyle A}$

Esimerkkejä

Jacobin (tai lävistäjän) esikäsittelyaine

Jacobin Esisovittimen on yksi yksinkertaisin muotojen esivalmistelua, jossa Esikäsittelylaitteesta valitaan lävistäjä matriisin Olettaen , saamme on tehokas vinosti hallitseva matriiseja . ${\ displaystyle P = \ mathrm {diag} (A).}$${\ displaystyle A_ {ii} \ neq 0, \ kaikki i}$${\ displaystyle P_ {ij} ^ {- 1} = {\ frac {\ delta _ {ij}} {A_ {ij}}}.}$ ${\ displaystyle A}$

SPAI

Harva Arvioitu Inverse Esikäsittelylaitteesta minimoi jossa on Frobenius normi ja on joitakin sopivasti rajoitettu joukko harva matriisit . Frobeniuksen normin mukaan tämä pelkistää useiden itsenäisten pienimmän neliösumman ongelmien ratkaisemisen (yksi jokaiselle sarakkeelle). Merkinnät on rajoitettava joihinkin harvoihin kuvioihin tai ongelma on edelleen yhtä vaikea ja aikaa vievä kuin löytää tarkan käänteisen . Menetelmän esittivät MJ Grote ja T. Huckle yhdessä lähestymistavan kanssa harvinaisuuskuvioiden valitsemiseen. ${\ displaystyle \ | AT-I \ | _ {F},}$${\ displaystyle \ | \ cdot \ | _ {F}}$${\ displaystyle T = P ^ {- 1}}$${\ displaystyle T}$${\ displaystyle A}$

Muut ennakkoehdokkaat

• Puutteellinen koleskyinen jako
• Keskeneräinen LU-kerroin
• Peräkkäinen liiallinen rentoutuminen
  • Symmetrinen peräkkäinen ylirelaxointi
• Multigrid-esikäsittely

Ulkoiset linkit

• Esivalmisteltu konjugaattigradientti - math-linux.com
• Mallit lineaaristen järjestelmien ratkaisulle: Iteratiivisten menetelmien rakennuspalikat

Omaarvo-ongelmien esikäsittely

Omaarvo-ongelmat voidaan muotoilla useilla vaihtoehtoisilla tavoilla, joista jokainen johtaa omaan ennakkoehtoonsa. Perinteinen esikäsittely perustuu niin kutsuttuihin spektrimuunnoksiin. Kun tiedetään (suunnilleen) kohdennettu ominaisarvo, voidaan laskea vastaava ominaisvektori ratkaisemalla siihen liittyvä homogeeninen lineaarinen järjestelmä, mikä sallii esivakioinnin käyttämisen lineaarisessa järjestelmässä. Lopuksi ominaisarvo-ongelman muotoilu Rayleigh-osamäärän optimointina tuo ennalta ennakoidut optimointitekniikat kohtaukselle.

Spektrimuutokset

Analogisesti lineaaristen järjestelmien kanssa ominaisarvo- ongelmalle voi olla houkutus korvata matriisi matriisilla esivalmistelijan avulla . Kuitenkin tämä on järkevää vain, jos etsii ominaisvektorit ja ja ovat samat. Tämä pätee spektrimuunnoksiin. ${\ displaystyle-kirves = \ lambda x}$${\ displaystyle A}$${\ displaystyle P ^ {- 1} A}$${\ displaystyle P}$${\ displaystyle A}$${\ displaystyle P ^ {- 1} A}$

Suosituin spektrimuunnos on ns. Siirto- ja käänteismuutos , jossa tietylle skalaarille , jota kutsutaan siirtymäksi , alkuperäinen ominaisarvo-ongelma korvataan siirto-ja-käänteis -ongelmalla . Ominaisvektorit säilyvät, ja siirto- ja käänteisongelman voidaan ratkaista iteratiivisella ratkaisijalla, esimerkiksi teho-iteraatiolla . Tämä antaa käänteisen iteraation , joka tavallisesti konvergoituu ominaisvektoriin, mikä vastaa siirtymää lähinnä olevaa ominaisarvoa . Rayleigh osamäärä iterointi on siirto-ja-inverttisokeri menetelmä, jolla on vaihteleva muutos. ${\ displaystyle \ alfa}$${\ displaystyle-kirves = \ lambda x}$${\ displaystyle (A- \ alfa I) ^ {- 1} x = \ mu x}$${\ displaystyle \ alfa}$

Spektrimuunnokset ovat spesifisiä ominaisarvo-ongelmille, eikä niillä ole analogeja lineaarisille järjestelmille. Ne vaativat tarkan numeerisen laskennan mukana olevasta muunnoksesta, josta tulee suurten ongelmien tärkein pullonkaula.

Yleinen esikäsittely

Läheisen yhteyden luomiseksi lineaarisiin järjestelmiin oletetaan, että kohdennettu ominaisarvo tunnetaan (suunnilleen). Sitten voidaan laskea vastaava ominaisvektori homogeenisesta lineaarisesta järjestelmästä . Vasemman esikäsittelyn käsitteen avulla lineaarisissa järjestelmissä saadaan , missä on ennakkoehto, jonka voimme yrittää ratkaista käyttämällä Richardsonin iteraatiota${\ displaystyle \ lambda _ {\ tähti}}$${\ displaystyle (A- \ lambda _ {\ tähti} I) x = 0}$${\ displaystyle T (A- \ lambda _ {\ tähti} I) x = 0}$${\ displaystyle T}$

${\ displaystyle \ mathbf {x} _ {n + 1} = \ mathbf {x} _ {n} - \ gamma _ {n} T (A- \ lambda _ {\ tähti} I)) \ mathbf {x} _ {n}, \ n \ geq 0.}$

Ihanteellinen esivakauttamisen

Moore-Penrosen pseudoin- on esikäsittely, joka tekee Richardson iteraation edellä yhtyvät yhdessä vaiheessa , koska , merkitään , on ortogonaalinen projektorin eigenspace, joka vastaa . Valinta on epäkäytännöllinen kolmesta itsenäisestä syystä. Ensinnäkin, ei todellakaan ole tiedossa, vaikka se voidaan korvata sen likiarvolla . Toiseksi tarkka Moore – Penrose-pseudoinverssi vaatii ominaisvektorin tuntemusta, jonka yritämme löytää. Tämä voidaan kiertää jonkin verran käyttämällä Jacobi – Davidson -esivalmistetta , joka on likimääräinen . Viimeisenä, mutta ei vähäisimpänä, tämä lähestymistapa edellyttää lineaarisen järjestelmän tarkkaa numeerista ratkaisua järjestelmämatriisilla , joka tulee yhtä kalliiksi suurille ongelmille kuin yllä oleva siirto- ja käänteismenetelmä. Jos ratkaisu ei ole tarpeeksi tarkka, vaihe 2 voi olla tarpeeton. ${\ displaystyle T = (A- \ lambda _ {\ tähti} I) ^ {+}}$${\ displaystyle \ gamma _ {n} = 1}$${\ displaystyle I- (A- \ lambda _ {\ star} I) ^ {+} (A- \ lambda _ {\ star} I)}$${\ displaystyle P _ {\ tähti}}$${\ displaystyle \ lambda _ {\ tähti}}$${\ displaystyle T = (A- \ lambda _ {\ tähti} I) ^ {+}}$${\ displaystyle \ lambda _ {\ tähti}}$${\ displaystyle {\ tilde {\ lambda}} _ {\ tähti}}$ ${\ displaystyle T = (I - {\ tilde {P}} _ {\ star}) (A - {\ tilde {\ lambda}} _ {\ star} I) ^ {- 1} (I - {\ tilde {P}} _ {\ tähti})}$${\ displaystyle {\ tilde {P}} _ {\ tähti}}$${\ displaystyle P _ {\ tähti}}$${\ displaystyle (A - {\ tilde {\ lambda}} _ {\ tähti} I)}$

Käytännön esikäsittely

Korvataan ensin edellä oleva Richardsonin iteraation teoreettinen arvo sen nykyisellä likiarvolla, jotta saadaan käytännön algoritmi ${\ displaystyle \ lambda _ {\ tähti}}$${\ displaystyle \ lambda _ {n}}$

${\ displaystyle \ mathbf {x} _ {n + 1} = \ mathbf {x} _ {n} - \ gamma _ {n} T (A- \ lambda _ {n} I) \ mathbf {x} _ { n}, \ n \ geq 0.}$

Suosittu valinta on käyttää Rayleigh osamäärä toiminto . Käytännön esikäsittely voi olla yhtä triviaalia kuin pelkkä käyttö tai Joidenkin ominaisarvoongelmien luokkien tehokkuus on osoitettu sekä numeerisesti että teoreettisesti. Valinnan avulla voidaan helposti hyödyntää ominaisarvoongelmia lineaarisille järjestelmille kehitetystä laajasta valikoimasta esikäsittelyaineita. ${\ displaystyle \ lambda _ {n} = \ rho (x_ {n})}$${\ displaystyle \ rho (\ cdot)}$${\ displaystyle T = (halkaisija (A)) ^ {- 1}}$${\ displaystyle T = (diag (A- \ lambda _ {n} I)) ^ {- 1}.}$${\ displaystyle T \ noin A ^ {- 1}}$${\ displaystyle T \ noin A ^ {- 1}}$

Muuttuvan arvon takia kattava teoreettinen konvergenssianalyysi on lineaaristen järjestelmien tapaukseen nähden paljon vaikeampi, jopa yksinkertaisimmissa menetelmissä, kuten Richardsonin iteroinnissa . ${\ displaystyle \ lambda _ {n}}$

Ulkoiset linkit

• Mallit algebrallisen ominaisarvon ratkaisemiseen: käytännön opas

Esivalmistelu optimoinnissa

Vuonna optimointi , esikäsittely tyypillisesti käytetään nopeuttamaan ensimmäisen kertaluvun optimoinnin algoritmeja .

Kuvaus

Esimerkiksi löytää paikallinen minimi on reaaliarvoinen funktio käyttäen gradienttia laskeutumisen , otetaan vaiheet verrannollinen negatiivinen ja kaltevuus (tai likimääräinen gradientti) funktion nykyisessä vaiheessa: ${\ displaystyle F (\ mathbf {x})}$ ${\ displaystyle - \ nabla F (\ mathbf {a})}$

${\ displaystyle \ mathbf {x} _ {n + 1} = \ mathbf {x} _ {n} - \ gamma _ {n} \ nabla F (\ mathbf {x} _ {n}), \ n \ geq 0.}$

Esivalmistelija levitetään kaltevuuteen:

${\ displaystyle \ mathbf {x} _ {n + 1} = \ mathbf {x} _ {n} - \ gamma _ {n} P ^ {- 1} \ nabla F (\ mathbf {x} _ {n} ), \ n \ geq 0.}$

Esivalmistelun voidaan katsoa muuttavan vektoriavaruuden geometriaa tavoitteenaan saada tasosarjat näyttämään ympyröiltä. Tällöin ennakkovakioitu gradientti tähtää lähemmäs ääripistettä kuin kuvassa, mikä nopeuttaa lähentymistä.

Liitäntä lineaarisiin järjestelmiin

Neliöfunktion vähimmäismäärä

${\ displaystyle F (\ mathbf {x}) = {\ frac {1} {2}} \ mathbf {x} ^ {T} A \ mathbf {x} - \ mathbf {x} ^ {T} \ mathbf { b}}$,

missä ja ovat todellisia sarakevektoreita ja on todellinen symmetrinen positiivisesti määritelty matriisi , on tarkalleen lineaarisen yhtälön ratkaisu . Koska ennakoitava gradientin laskeutumismenetelmä minimoimiseksi on ${\ displaystyle \ mathbf {x}}$${\ displaystyle \ mathbf {b}}$${\ displaystyle A}$ ${\ displaystyle A \ mathbf {x} = \ mathbf {b}}$${\ displaystyle \ nabla F (\ mathbf {x}) = A \ mathbf {x} - \ mathbf {b}}$${\ displaystyle F (\ mathbf {x})}$

${\ displaystyle \ mathbf {x} _ {n + 1} = \ mathbf {x} _ {n} - \ gamma _ {n} P ^ {- 1} (A \ mathbf {x} _ {n} - \ mathbf {b}), \ n \ geq 0.}$

Tämä on esikäsitellyt Richardson iteraation ratkaisemiseen lineaarisen yhtälöryhmän .

Yhteys ominaisarvo-ongelmiin

Rayleigh-osamäärän vähimmäismäärä

${\ displaystyle \ rho (\ mathbf {x}) = {\ frac {\ mathbf {x} ^ {T} A \ mathbf {x}} {\ mathbf {x} ^ {T} \ mathbf {x}}} ,}$

jossa on todellinen nollasta sarake-vektori ja on todellinen symmetrinen positiivisesti definiitti matriisi , on pienin ominaisarvo on , kun minimizer on vastaava ominaisvektori . Koska se on verrannollinen , ennakoitava gradientin laskeutumismenetelmä minimoimiseksi on ${\ displaystyle \ mathbf {x}}$${\ displaystyle A}$ ${\ displaystyle A}$${\ displaystyle \ nabla \ rho (\ mathbf {x})}$${\ displaystyle A \ mathbf {x} - \ rho (\ mathbf {x}) \ mathbf {x}}$${\ displaystyle \ rho (\ mathbf {x})}$

${\ displaystyle \ mathbf {x} _ {n + 1} = \ mathbf {x} _ {n} - \ gamma _ {n} P ^ {- 1} (A \ mathbf {x} _ {n} - \ rho (\ mathbf {x_ {n}}) \ mathbf {x_ {n}}), \ n \ geq 0.}$

Tämä on analogia ennakoitavasta Richardsonin iteraatiosta ominaisarvo-ongelmien ratkaisemiseksi.

Vaihteleva esikäsittely

Monissa tapauksissa voi olla hyödyllistä vaihtaa esikäsittelijä iteratiivisen algoritmin joissakin tai jopa jokaisissa vaiheissa tasojen muuttuvan muodon huomioon ottamiseksi, kuten

${\ displaystyle \ mathbf {x} _ {n + 1} = \ mathbf {x} _ {n} - \ gamma _ {n} P_ {n} ^ {- 1} \ nabla F (\ mathbf {x} _ {n}), \ n \ geq 0.}$

On kuitenkin pidettävä mielessä, että tehokkaan ennakkoehdokkaan rakentaminen on usein laskennallisesti kallista. Esivalmisteen päivittämisen korotetut kustannukset voivat helposti ohittaa nopeamman lähentymisen myönteisen vaikutuksen.

Viitteet

Lähteet

• Axelsson, Owe (1996). Iteratiiviset ratkaisumenetelmät . Cambridge University Press. s. 6722. ISBN 978-0-521-55569-2.
• D'yakonov, EG (1996). Optimointi elliptisten ongelmien ratkaisemisessa . CRC-Press. s. 592. ISBN 978-0-8493-2872-5.
• Saad, Yousef & van der Vorst, Henk (2001). "Lineaaristen järjestelmien iteratiivinen ratkaisu 1900-luvulla". Julkaisussa Brezinski, C. & Wuytack, L. (toim.). Numeerinen analyysi: 1900-luvun historiallinen kehitys . Elsevier Science Publishers . §8 Esivakiointimenetelmät, s. 193–8. ISBN 0-444-50617-9.
• van der Vorst, HA (2003). Iteratiiviset Krylov-menetelmät suurille lineaarisille järjestelmille . Cambridge University Press, Cambridge. ISBN 0-521-81828-1.
• Ke Chen: "Matriisin esikäsittelytekniikat ja sovellukset", Cambridge University Press, ISBN  978-0521838283 (2005).