Semidefinitiv programmering - Semidefinite programming

Semidefinite-programmering ( SDP ) er et underfelt for konveks optimalisering opptatt av optimalisering av en lineær objektivfunksjon (en brukerspesifisert funksjon som brukeren ønsker å minimere eller maksimere) over skjæringspunktet mellom kjeglen til positive semidefinite matriser med en affine plass , det vil si et spektraeder .

Semidefinite programmering er et relativt nytt felt for optimalisering som er av økende interesse av flere grunner. Mange praktiske problemer i driftsforskning og kombinatorisk optimalisering kan modelleres eller tilnærmes som halvbestemte programmeringsproblemer. I automatisk kontrollteori brukes SDPer i sammenheng med lineære matriksulikheter . SDPs er i virkeligheten et spesielt tilfelle av kjegle programmering og kan effektivt løses ved indre punkt metoder . Alle lineære programmer kan uttrykkes som SDP-er, og via hierarkier av SDP-er kan løsningene på polynomoptimaliseringsproblemer tilnærmes. Semidefinitiv programmering har blitt brukt i optimalisering av komplekse systemer. I de senere år er det blitt formulert noen kvanteforespørselskompleksitetsproblemer når det gjelder semidefinite programmer.

Motivasjon og definisjon

Innledende motivasjon

Et lineært programmeringsproblem er et problem der vi ønsker å maksimere eller minimere en lineær objektiv funksjon av reelle variabler over en polytop . I semidefinert programmering bruker vi i stedet virkelighetsverdige vektorer og får lov til å ta prikkproduktet av vektorer; nonnegativitetsbegrensninger på reelle variabler i LP ( lineær programmering ) erstattes av semidefinitetsbegrensninger på matrisevariabler i SDP ( semidefinert programmering ). Spesielt kan et generelt semidefinert programmeringsproblem defineres som ethvert matematisk programmeringsproblem av skjemaet

${\ displaystyle {\ begin {array} {rl} {\ displaystyle \ min _ {x ^ {1}, \ ldots, x ^ {n} \ in \ mathbb {R} ^ {n}}} og {\ displaystyle \ sum _ {i, j \ i [n]} c_ {i, j} (x ^ {i} \ cdot x ^ {j})} \\ {\ text {underlagt}} & {\ displaystyle \ sum _ {i, j \ in [n]} a_ {i, j, k} (x ^ {i} \ cdot x ^ {j}) \ leq b_ {k}} {\ text {for alle}} k \ \\ end {matrise}}}$

hvor , og de er reelle tall og er prikkproduktet av og . ${\ displaystyle c_ {i, j}, a_ {i, j, k}}$${\ displaystyle b_ {k}}$${\ displaystyle x ^ {i} \ cdot x ^ {j}}$${\ displaystyle x ^ {i}}$${\ displaystyle x ^ {j}}$

Tilsvarende formuleringer

En matrise sies å være positiv semidefinitiv hvis den er den gramiske matrisen til noen vektorer (dvs. hvis det finnes vektorer slik at for alle ). Hvis dette er tilfelle, betegner vi dette som . Merk at det er flere andre ekvivalente definisjoner av å være positive semidefinite, for eksempel positive semidefinite matriser er selvadjoint matriser som bare har ikke-negative egenverdier. ${\ displaystyle n \ times n}$${\ displaystyle M}$${\ displaystyle x ^ {1}, \ ldots, x ^ {n}}$${\ displaystyle m_ {i, j} = x ^ {i} \ cdot x ^ {j}}$${\ displaystyle i, j}$${\ displaystyle M \ succeq 0}$

Betegn ved plass for alle virkelige symmetriske matriser. Plassen er utstyrt med det indre produktet (hvor betegner sporingen ) ${\ displaystyle \ mathbb {S} ^ {n}}$${\ displaystyle n \ times n}$${\ displaystyle {\ rm {tr}}}$${\ displaystyle \ langle A, B \ rangle _ {\ mathbb {S} ^ {n}} = {\ rm {tr}} (A ^ {T} B) = \ sum _ {i = 1, j = 1 } ^ {n} A_ {ij} B_ {ij}.}$

Vi kan omskrive det matematiske programmet gitt i forrige avsnitt på samme måte som

${\ displaystyle {\ begin {array} {rl} {\ displaystyle \ min _ {X \ in \ mathbb {S} ^ {n}}} & \ langle C, X \ rangle _ {\ mathbb {S} ^ { n}} \\ {\ text {underlagt}} & \ langle A_ {k}, X \ rangle _ {\ mathbb {S} ^ {n}} \ leq b_ {k}, \ quad k = 1, \ ldots, m \\ & X \ succeq 0 \ end {array}}}$

hvor oppføring i er gitt ved i foregående avsnitt og er en symmetrisk matrise som har th adgang fra det foregående avsnitt. Dermed er matrisene og symmetriske, og de ovennevnte indre produktene er veldefinerte. ${\ displaystyle i, j}$${\ displaystyle C}$${\ displaystyle {\ frac {c_ {i, j} + c_ {j, i}} {2}}}$${\ displaystyle A_ {k}}$${\ displaystyle n \ times n}$${\ displaystyle i, j}$${\ displaystyle {\ frac {a_ {i, j, k} + a_ {j, i, k}} {2}}}$${\ displaystyle C}$${\ displaystyle A_ {k}}$

Merk at hvis vi legger til slakkvariabler på riktig måte, kan denne SDP-en konverteres til en av skjemaet

${\ displaystyle {\ begin {array} {rl} {\ displaystyle \ min _ {X \ in \ mathbb {S} ^ {n}}} & \ langle C, X \ rangle _ {\ mathbb {S} ^ { n}} \\ {\ text {underlagt}} & \ langle A_ {k}, X \ rangle _ {\ mathbb {S} ^ {n}} = b_ {k}, \ quad k = 1, \ ldots , m \\ & X \ succeq 0. \ end {array}}}$

For enkelhets skyld kan en SDP spesifiseres i en litt annen, men ekvivalent form. For eksempel kan lineære uttrykk som involverer ikke-negative skjellvariabler legges til programspesifikasjonen. Dette forblir en SDP fordi hver variabel kan inkorporeres i matrisen som en diagonal inngang ( for noen ). For å sikre at det kan legges begrensninger for alle . Som et annet eksempel, legg merke til at for en hvilken som helst positiv semidefinitmatrise , finnes det et sett med vektorer slik at , inngangen til er det skalære produktet av og . Derfor formuleres ofte SDP-er i form av lineære uttrykk på skalære produkter av vektorer. Gitt løsningen på SDP i standardform, kan vektorene utvinnes i tide (f.eks. Ved å bruke en ufullstendig Cholesky dekomponering av X). ${\ displaystyle X}$${\ displaystyle X_ {ii}}$${\ displaystyle i}$${\ displaystyle X_ {ii} \ geq 0}$${\ displaystyle X_ {ij} = 0}$${\ displaystyle j \ neq i}$${\ displaystyle X}$${\ displaystyle \ {v_ {i} \}}$${\ displaystyle i}$${\ displaystyle j}$${\ displaystyle X}$${\ displaystyle X_ {ij} = (v_ {i}, v_ {j})}$${\ displaystyle v_ {i}}$${\ displaystyle v_ {j}}$${\ displaystyle \ {v_ {i} \}}$${\ displaystyle O (n ^ {3})}$

Dualitetsteori

definisjoner

Analogt til lineær programmering, gitt en generell SDP av skjemaet

${\ displaystyle {\ begin {array} {rl} {\ displaystyle \ min _ {X \ in \ mathbb {S} ^ {n}}} & \ langle C, X \ rangle _ {\ mathbb {S} ^ { n}} \\ {\ text {underlagt}} & \ langle A_ {i}, X \ rangle _ {\ mathbb {S} ^ {n}} = b_ {i}, \ quad i = 1, \ ldots , m \\ & X \ succeq 0 \ end {array}}}$

(det primære problemet eller P-SDP), definerer vi det dobbelte semidefinite-programmet (D-SDP) som

${\ displaystyle {\ begin {array} {rl} {\ displaystyle \ max _ {y \ in \ mathbb {R} ^ {m}}} & \ langle b, y \ rangle _ {\ mathbb {R} ^ { m}} \\ {\ text {underlagt}} & {\ displaystyle \ sum _ {i = 1} ^ {m}} y_ {i} A_ {i} \ preceq C \ end {array}}}$

hvor for to matriser og , betyr . ${\ displaystyle P}$${\ displaystyle Q}$${\ displaystyle P \ succeq Q}$${\ displaystyle PQ \ succeq 0}$

Svak dualitet

Den svake dualitetsteoremet sier at verdien av den primære SDP er minst verdien av den dobbelte SDP. Derfor begrenser enhver mulig løsning på dual SDP den primære SDP-verdien, og omvendt, enhver mulig løsning på den primære SDP øvre grenser den doble SDP-verdien. Dette er fordi

${\ displaystyle \ langle C, X \ rangle - \ langle b, y \ rangle = \ langle C, X \ rangle - \ sum _ {i = 1} ^ {m} y_ {i} b_ {i} = \ langle C, X \ rangle - \ sum _ {i = 1} ^ {m} y_ {i} \ langle A_ {i}, X \ rangle = \ langle C- \ sum _ {i = 1} ^ {m} y_ {i} A_ {i}, X \ rangle \ geq 0,}$

der den siste ulikheten skyldes at begge matriser er positive semidefinite, og resultatet av denne funksjonen blir noen ganger referert til som dualitetsgap.

Sterk dualitet

Under en tilstand kjent som Slater-tilstand , er verdien av de primære og doble SDP-ene lik. Dette er kjent som sterk dualitet . I motsetning til for lineære programmer , tilfredsstiller imidlertid ikke hver SDP sterk dualitet; Generelt kan verdien av dobbelt SDP ligge strengt under verdien av primalen.

(i) Anta at det primære problemet (P-SDP) er avgrenset nedenfor og er strengt gjennomførbart (det vil si at det finnes slik at , ). Så er det en optimal løsning på (D-SDP) og ${\ displaystyle X_ {0} \ in \ mathbb {S} ^ {n}, X_ {0} \ succ 0}$${\ displaystyle \ langle A_ {i}, X_ {0} \ rangle _ {\ mathbb {S} ^ {n}} = b_ {i}}$${\ displaystyle i = 1, \ ldots, m}$${\ displaystyle y ^ {*}}$

${\ displaystyle \ langle C, X ^ {*} \ rangle _ {\ mathbb {S} ^ {n}} = \ langle b, y ^ {*} \ rangle _ {\ mathbb {R} ^ {m}} .}$

(ii) Anta at det doble problemet (D-SDP) er begrenset over og strengt mulig (dvs. for noen ). Da er det en optimal løsning på (P-SDP) og likheten fra (i) holder. ${\ displaystyle \ sum _ {i = 1} ^ {m} (y_ {0}) _ {i} A_ {i} \ prec C}$${\ displaystyle y_ {0} \ in \ mathbb {R} ^ {m}}$${\ displaystyle X ^ {*}}$

eksempler

Eksempel 1

Tenk tre tilfeldige variabler , og . Per definisjon er korrelasjonskoeffisientene gyldige hvis og bare hvis ${\ displaystyle A}$${\ displaystyle B}$${\ displaystyle C}$ ${\ displaystyle \ rho _ {AB}, \ \ rho _ {AC}, \ rho _ {BC}}$

${\ displaystyle {\ begin {pmatrix} 1 & \ rho _ {AB} & \ rho _ {AC} \\\ rho _ {AB} & 1 & \ rho _ {BC} \\\ rho _ {AC} & \ rho _ {BC} & 1 \ end {pmatrix}} \ succeq 0,}$

i så fall kalles denne matrisen korrelasjonsmatrise . Anta at vi fra en viss forkunnskap (empiriske resultater av et eksperiment, for eksempel) vet at og . Problemet med å bestemme de minste og største verdiene som kan ta, gis ved: ${\ displaystyle -0.2 \ leq \ rho _ {AB} \ leq -0.1}$${\ displaystyle 0.4 \ leq \ rho _ {BC} \ leq 0.5}$${\ displaystyle \ rho _ {AC} \}$

minimalisere / maksimering ${\ displaystyle x_ {13}}$

underlagt

${\ displaystyle -0.2 \ leq x_ {12} \ leq -0.1}$

${\ displaystyle 0.4 \ leq x_ {23} \ leq 0.5}$

${\ displaystyle {\ begin {pmatrix} 1 & x_ {12} & x_ {13} \\ x_ {12} & 1 & x_ {23} \\ x_ {13} & x_ {23} & 1 \ end {pmatrix}} \ succeq 0.}$

Vi bestemmer oss for å få svaret. Dette kan formuleres av en SDP. Vi håndterer ulikhetsbegrensningene ved å forsterke den variable matrisen og introdusere slake variabler , for eksempel ${\ displaystyle \ rho _ {AB} = x_ {12}, \ \ rho _ {AC} = x_ {13}, \ \ rho _ {BC} = x_ {23}}$

${\ displaystyle \ mathrm {tr} \ left (\ left ({\ start {array} {cccccc} 0 & 1 & 0 & 0 & 0 & 0 & 0 \ 0 0 & 0 & 0 & 0 & 0 & 0 \ 0 & 0 & 0 \ 0 & 0 & 0 \ 0 & 0 & 0 & 0 & 0 & 0 & 0 \ venstre ({\ begynne {matrise} {cccccc} 1 & X_ {12} og X_ {13} & 0 & 0 & 0 \\ X_ {12} & 1 & X_ {23} & 0 & 0 & 0 \\ X_ {13} og X_ {23} & 1 & 0 & 0 & 0 \\ 0 & 0 & 0 & s_ {1} & 0 & 0 \\ 0 & 0 & 0 & 0 & s_ {2} & 0 \\ 0 & 0 & 0 & 0 & 0 & s_ {3} \ end {matrise}} \ høyre) \ høyre) = X_ {12} + s_ {1} = - 0,1}$

Løse dette SDP gir minimums- og maksimumsverdier for så og hhv. ${\ displaystyle \ rho _ {AC} = x_ {13} \}$${\ displaystyle -0.978}$${\ displaystyle 0.872}$

Eksempel 2

Vurder problemet

minimere ${\ displaystyle {\ frac {(c ^ {T} x) ^ {2}} {d ^ {T} x}}}$

underlagt ${\ displaystyle Ax + b \ geq 0}$

hvor vi antar at når . ${\ displaystyle d ^ {T} x> 0}$${\ displaystyle Ax + b \ geq 0}$

Introduserer en hjelpevariabel kan problemet omformuleres: ${\ displaystyle t}$

minimere ${\ displaystyle t}$

underlagt ${\ displaystyle Ax + b \ geq 0, \, {\ frac {(c ^ {T} x) ^ {2}} {d ^ {T} x}} \ leq t}$

I denne formuleringen er målet en lineær funksjon av variablene . ${\ displaystyle x, t}$

Den første begrensningen kan skrives som

${\ displaystyle {\ textbf {diag}} (Ax + b) \ geq 0}$

hvor matrisen er den firkantede matrisen med verdier i diagonalen lik elementene i vektoren . ${\ displaystyle {\ textbf {diag}} (Ax + b)}$${\ displaystyle Ax + b}$

Den andre begrensningen kan skrives som

${\ displaystyle td ^ {T} x- (c ^ {T} x) ^ {2} \ geq 0}$

Definere som følger ${\ displaystyle D}$

${\ displaystyle D = \ left [{\ begin {array} {cc} t & c ^ {T} x \\ c ^ {T} x & d ^ {T} x \ end {array}} \ høyre]}$

Vi kan bruke teorien om Schur Complements for å se det

${\ displaystyle D \ succeq 0}$

(Boyd og Vandenberghe, 1996)

Semidefinite programmet assosiert med dette problemet er

minimere ${\ displaystyle t}$

underlagt ${\ displaystyle \ left [{\ begin {array} {ccc} {\ textbf {diag}} (Ax + b) & 0 & 0 \\ 0 & t & c ^ {T} x \\ 0 & c ^ {T} x & d ^ {T} x \ slutt {array}} \ høyre] \ succeq 0}$

Eksempel 3 (Goemans-Williamson MAX CUT tilnærmingsalgoritme)

Semidefinite-programmer er viktige verktøy for å utvikle tilnærmingsalgoritmer for NP-harde maksimeringsproblemer. Den første tilnærmingsalgoritmen basert på en SDP skyldes Michel Goemans og David P. Williamson (JACM, 1995). De studerte MAX CUT-problemet : Gitt en graf G = ( V , E ), send ut en partisjon av toppunktene V for å maksimere antall kanter som krysser fra den ene siden til den andre. Dette problemet kan uttrykkes som et helt tall kvadratisk program :

Maksimer slik at hver .${\ displaystyle \ sum _ {(i, j) \ in E} {\ frac {1-v_ {i} v_ {j}} {2}},}$${\ displaystyle v_ {i} \ in \ {1, -1 \}}$

Med mindre P = NP , kan vi ikke løse dette maksimeringsproblemet effektivt. Imidlertid observerte Goemans og Williamson en generell tretrinnsprosedyre for å angripe denne typen problemer:

1. Slapp av det heltals kvadratiske programmet til en SDP.
2. Løs SDP-en (til innenfor en vilkårlig liten tilsetningsfeil ).${\ displaystyle \ epsilon}$
3. Rund SDP-løsningen for å få en tilnærmet løsning på det originale kvadratiske programmet.

For MAX CUT er den mest naturlige avslapningen

${\ displaystyle \ max \ sum _ {(i, j) \ in E} {\ frac {1- \ langle v_ {i}, v_ {j} \ rangle} {2}},}$slik at der maksimaliseringen er over vektorer i stedet for heltallsskaler.${\ displaystyle \ lVert v_ {i} \ rVert ^ {2} = 1}$${\ displaystyle \ {v_ {i} \}}$

Dette er en SDP fordi den objektive funksjonen og begrensningene alle er lineære funksjoner for indre indre produkter. Å løse SDP gir et sett enhetsvektorer i ; siden vektorene ikke er påkrevd å være kollinære, kan verdien av dette avslappede programmet bare være høyere enn verdien av det originale kvadratiske heltallsprogrammet. Til slutt er det nødvendig med en avrundingsprosedyre for å skaffe en partisjon. Goemans og Williamson velger ganske enkelt et jevnt tilfeldig hyperplan gjennom opphavet og deler toppunktene etter hvilken side av hyperplanet de tilsvarende vektorene ligger. Enkel analyse viser at denne prosedyren oppnår et forventet tilnærmelsesforhold (ytelsesgaranti) på 0,87856 - ε. (Den forventede verdien av snittet er summen over kantene for sannsynligheten for at kanten er kuttet, som er proporsjonal med vinkelen mellom vektorene ved endepunktene av kanten over . Sammenligning av denne sannsynligheten til , i forventning, er forholdet alltid på minst 0,87856.) Forutsatt at Unique Games Conjecture , kan det vises at dette tilnærmelsesforholdet i det vesentlige er optimalt. ${\ displaystyle \ mathbf {R ^ {n}}}$${\ displaystyle \ cos ^ {- 1} \ langle v_ {i}, v_ {j} \ rangle}$${\ displaystyle \ pi}$${\ displaystyle (1- \ langle v_ {i}, v_ {j} \ rangle) / {2}}$

Siden originaloppgaven til Goemans og Williamson, har SDP-er blitt brukt for å utvikle en rekke tilnærmingsalgoritmer. Nylig har Prasad Raghavendra utviklet en generell ramme for problemer med begrensningstilfredshet basert på Unique Games Conjecture .

algoritmer

Det er flere typer algoritmer for å løse SDP-er. Disse algoritmene gir verdien av SDP-en opp til en additiv feil i tid som er polynom i programbeskrivelsesstørrelsen og . ${\ displaystyle \ epsilon}$${\ displaystyle \ log (1 / \ epsilon)}$

Innvendige punktmetoder

De fleste koder er basert på interiørpunktmetoder (CSDP, MOSEK , SeDuMi, SDPT3, DSDP, SDPA). Robust og effektiv for generelle lineære SDP-problemer. Begrenset av det faktum at algoritmene er andreordens metoder og trenger å lagre og faktorisere en stor (og ofte tett) matrise.

Førsteordens metoder

Førsteordens metoder for konisk optimalisering unngår beregning, lagring og faktorisering av en stor Hessian-matrise og skala til mye større problemer enn interiørpunktmetoder, til en viss pris i nøyaktighet. En førsteordens metode implementeres i Splitting Cone Solver (SCS). En annen førsteordens metode er vekselretningsmetoden for multiplikatorer (ADMM). Denne metoden krever i hvert trinn projeksjon på kjeglen til semidefinite matriser.

Buntemetode

Koden ConicBundle formulerer SDP-problemet som et problemfritt optimaliseringsproblem og løser det ved hjelp av Spectral Bundle-metoden for nonsmooth-optimalisering. Denne tilnærmingen er veldig effektiv for en spesiell klasse av lineære SDP-problemer.

Annen

Algoritmer basert på Augmented Lagrangian-metoden (PENSDP) ligner i oppførsel som de indre punktmetodene og kan spesialiseres til noen svært store skala-problemer. Andre algoritmer bruker informasjon om lav rangering og reformulering av SDP som et ikke-lineært programmeringsproblem (SDPLR).

applikasjoner

Semidefinitiv programmering har blitt brukt for å finne omtrentlige løsninger på kombinasjonsoptimaliseringsproblemer, for eksempel løsningen på max cut- problemet med et tilnærmelsesforhold på 0,87856. SDPer brukes også i geometri for å bestemme strekningsgrafikker, og oppstår i kontrollteori som LMI-er .

referanser

• Lieven Vandenberghe, Stephen Boyd, "Semidefinite Programming", SIAM Review 38, March 1996, s. 49–95. pdf
• Monique Laurent, Franz Rendl, "Semidefinite Programming and Integer Programming", Report PNA-R0210, CWI, Amsterdam, April 2002. optimization-online
• E. de Klerk, "Aspects of Semidefinite Programming: Interior Point Algorithms and Selected Applications", Kluwer Academic Publisher, Mars 2002, ISBN  1-4020-0547-4 .
• Robert M. Freund, "Introduksjon til Semidefinite Programming (SDP), SDP-Introduction

Eksterne linker

• Koblinger til introduksjoner og arrangementer i feltet
• Forelesningsnotater fra László Lovász om Semidefinite Programming