programação semidefinida - Semidefinite programming

Programação semidefinite ( SDP ) é um subcampo de optimização convexo em causa com a optimização de uma linear função de objectivo (uma função especificada pelo utilizador que o utilizador pretende minimizar ou maximizar a) ao longo da intersecção do cone de semidefinite positivos matrizes com um espaço afim , ou seja, um spectrahedron .

Programação semidefinida é um campo relativamente novo de otimização que é de crescente interesse por várias razões. Muitos problemas práticos em operações de pesquisa e otimização combinatória podem ser modelados ou aproximada como problemas de programação semidefinida. Em teoria de controlo automático, PDS são utilizados no contexto de desigualdades matriciais . SDPs são, na verdade um caso especial de programação cone e podem ser eficientemente resolvidos por métodos de pontos interiores . Todos os programas lineares pode ser expressa como PDS, e através de hierarquias de SDPs as soluções de problemas de otimização polinomiais pode ser aproximada. Programação semidefinida tem sido utilizado na otimizaçãode sistemas complexos. Nos últimos anos, problemas de complexidade alguns quântica consulta ter sido formulada em termos de programas semidefinite.

Motivação e definição

motivação inicial

A programação linear problema é aquele em que desejamos maximizar ou minimizar uma função objetivo linear das variáveis reais ao longo de um politopo . Na programação semidefinida, nós em vez usar vetores de valor real e estão autorizados a tomar o produto escalar de vetores; restrições de não negatividade sobre variáveis reais em LP ( programação linear ) são substituídas por restrições semidefiniteness sobre variáveis matriciais em SDP ( programação semidefinite ). Especificamente, um problema de programação semidefinido geral pode ser definida como qualquer problema de programação matemática de forma

${\ Displaystyle {\ begin {matriz} {rl} {\ displaystyle \ min _ {x ^ {1}, \ ldots, x ^ {n} \ in \ mathbb {R} ^ {n}}} e {\ displaystyle \ sum _ {i, j \ em [n]} c_ {i, j} (x ^ {i} \ cdot x ^ {j})} \\ {\ text {sujeitas a}} e {\ displaystyle \ sum _ {i, j \ em [n]} a_ {i, j, k} (x ^ {i} \ cdot x ^ {J}) \ leq b_ {k}} {\ texto {para todos}} k \ \\ final {matriz}}}$

onde a , eo são números reais e é o produto escalar de e . ${\ Displaystyle C_ {i, j}, a_ {i, j, k}}$${\ Displaystyle b_ {k}}$${\ Displaystyle x ^ {i} \ cdot x ^ {j}}$${\ Displaystyle x ^ {i}}$${\ Displaystyle x ^ {j}}$

formulações equivalentes

Uma matriz é dito ser semidefinido positivo se for a matriz Gramian de alguns vectores (por exemplo, se existem vectores de tal modo que para todos ). Se este for o caso, denotamos isso como . Note-se que existem várias outras definições equivalentes de ser semidefinite positivo, por exemplo, matrizes positiva semidefinida são matrizes auto-adjuntos que têm valores próprios único não-negativos. ${\ displaystyle n \ times n}$${\ Displaystyle M}$${\ Displaystyle x ^ {1}, \ ldots, x ^ {n}}$${\ Displaystyle m_ {i, j} = x ^ {i} \ cdot x ^ {j}}$${\ Displaystyle i, j}$${\ Displaystyle M \ succeq 0}$

Denote pelo espaço de todas as matrizes simétricas reais. O espaço é equipado com o produto interno (onde indica o traço ) ${\ Displaystyle \ mathbb {S} ^ {n}}$${\ displaystyle n \ times n}$${\ Displaystyle {\ rm {tr}}}$${\ Displaystyle \ Langle A, B \ rangle _ {\ mathbb {S} ^ {n}} = {\ rm {tr}} (A ^ {T} B) = \ soma _ {i = 1, j = 1 } ^ {n} A_ {ij} B_ {ij}.}$

Podemos reescrever o programa de matemática dada na seção anterior equivalentemente como

${\ Displaystyle {\ begin {matriz} {rl} {\ displaystyle \ min _ {X \ in \ mathbb {S} ^ {n}}} & \ Langle C, X \ rangle _ {\ mathbb {S} ^ { n}} \\ {\ texto {sujeito a}} & \ Langle A_ {k}, X \ rangle _ {\ mathbb {S} ^ {n}} \ leq b_ {k}, \ quad k = 1, \ ldots, m \\ & X \ succeq 0 \ final {matriz}}}$

em que a entrada em é dada pela partir da secção anterior e é um simétrica matriz tendo th entrada a partir da secção anterior. Assim, as matrizes e são simétricos e os produtos internos acima são bem definida. ${\ Displaystyle i, j}$${\ C} displaystyle$${\ Displaystyle {\ frac {C_ {i, j} + {C_ j, i}} {2}}}$${\ Displaystyle A_ {k}}$${\ displaystyle n \ times n}$${\ Displaystyle i, j}$${\ Displaystyle {\ frac {a_ {i, j, k} + a_ {j, i, k}} {2}}}$${\ C} displaystyle$${\ Displaystyle A_ {k}}$

Note-se que se somarmos variáveis de folga de forma adequada, esta SDP pode ser convertido para uma das formas

${\ Displaystyle {\ begin {matriz} {rl} {\ displaystyle \ min _ {X \ in \ mathbb {S} ^ {n}}} & \ Langle C, X \ rangle _ {\ mathbb {S} ^ { n}} \\ {\ texto {sujeito a}} & \ Langle A_ {k}, X \ rangle _ {\ mathbb {S} ^ {n}} = b_ {k}, \ quad k = 1, \ ldots , \\ & m X \ succeq 0. \ final {matriz}}}$

Por conveniência, um SDP pode ser especificado em uma forma ligeiramente diferente, mas equivalente. Por exemplo, expressões envolvendo lineares não negativos escalares variáveis podem ser adicionados à especificação do programa. Este continua a ser um SDP porque cada variável pode ser incorporado na matriz como uma entrada diagonal ( para alguns ). Para garantir que , as restrições podem ser adicionadas para todos . Como outro exemplo, nota que para qualquer matriz semidefinido positiva , existe um conjunto de vectores de tal forma que o , entrada de é o produto escalar de e . Portanto, SDPs são frequentemente formuladas em termos de expressões lineares sobre produtos escalares de vetores. Dado a solução do SDP na forma padrão, os vectores podem ser recuperadas em tempo (por exemplo, usando um incompleta decomposição de Cholesky de X). ${\ X displaystyle}$${\ X_ displaystyle {ii}}$${\ Displaystyle i}$${\ X_ displaystyle {ii} \ geq 0}$${\ Displaystyle X_ {ij} = 0}$${\ Displaystyle j \ i} neq$${\ X displaystyle}$${\ Displaystyle \ {v_ {i} \}}$${\ Displaystyle i}$${\ J} displaystyle$${\ X displaystyle}$${\ X_ displaystyle {ij} = (v_ {i}, v_ {J})}$${\ Displaystyle v_ {i}}$${\ Displaystyle v_ {j}}$${\ Displaystyle \ {v_ {i} \}}$${\ Displaystyle O (n ^ {3})}$

teoria da dualidade

definições

Analogamente ao de programação linear, dado um SDP geral da forma

${\ Displaystyle {\ begin {matriz} {rl} {\ displaystyle \ min _ {X \ in \ mathbb {S} ^ {n}}} & \ Langle C, X \ rangle _ {\ mathbb {S} ^ { n}} \\ {\ text {sujeitas a}} e \ langle A_ {i}, X \ rangle _ {\ mathbb {S} ^ {n}} = b_ {i}, \ quad i = 1, \ ldots , \\ & m X \ succeq 0 \ final {matriz}}}$

(o problema primordial ou P-SDP), define-se a dupla programa semidefinido (D-SDP) quanto

${\ Displaystyle {\ begin {matriz} {rl} {\ displaystyle \ max _ {y \ no \ mathbb {R} ^ {m}}} & \ Langle b, y \ rangle _ {\ mathbb {R} ^ { m}} \\ {\ texto {sujeito a}} e {\ displaystyle \ soma _ {i = 1} ^ {m}} Y_ {i} A_ {i} \ preceq C \ final {matriz}}}$

onde para quaisquer duas matrizes e , meios . ${\ P displaystyle}$${\ Displaystyle Q}$${\ Displaystyle P \ Q} succeq$${\ Displaystyle PQ \ succeq 0}$

dualidade fraco

O fraco dualidade teorema estabelece que o valor do SDP primal é pelo menos o valor da dupla SDP. Portanto, qualquer solução viável para a dupla SDP inferior-delimita o valor SDP primordial, e, inversamente, qualquer solução viável para o SDP primordial superior delimita o valor SDP dupla. Isto é porque

${\ Displaystyle \ Langle C, X \ rangle - \ Langle b, y \ rangle = \ Langle C, X \ rangle - \ soma _ {i = 1} ^ {m} Y_ {i} b_ {i} = \ Langle C, X \ rangle - \ soma _ {i = 1} ^ {m} Y_ {i} \ Langle A_ {i}, X \ rangle = \ Langle C- \ soma _ {i = 1} ^ {m} Y_ {i} A_ {i}, X \ rangle \ geq 0,}$

onde a última desigualdade é porque ambas as matrizes são semidefinite positiva, eo resultado desta função é por vezes referido como lacuna dualidade.

dualidade forte

Sob uma condição conhecida como condição de Slater , o valor das SDPs primal e dual são iguais. Isto é conhecido como forte dualidade . Ao contrário de programas lineares , no entanto, nem todos os SDP satisfaz forte dualidade; em geral, o valor da dupla SDP pode estar estritamente inferior ao valor da primitiva.

(i) Suponhamos que o problema primário (P-SDP) é delimitada abaixo e estritamente viável (ou seja, não existe tal que , ). Em seguida, há uma solução óptima para (D-SDP) e ${\ Displaystyle X_ {0} \ in \ mathbb {S} ^ {n}, X_ {0} \ 0} succ$${\ Displaystyle \ Langle A_ {i}, X_ {0} \ rangle _ {\ mathbb {S} ^ {n}} = b_ {i}}$${\ Displaystyle i = 1, \ ldots, m}$${\ Y displaystyle ^ {*}}$

${\ Displaystyle \ Langle C, X ^ {*} \ rangle _ {\ mathbb {S} ^ {n}} = \ Langle b, y ^ {*} \ rangle _ {\ mathbb {R} ^ {m}} .}$

(ii) Suponhamos que o problema duplo (D-SDP) é delimitada por cima e estritamente viável (ou seja, para alguns ). Em seguida, há uma solução óptima para (P-SDP) e a igualdade a partir de (i) se mantém. ${\ Displaystyle \ soma _ {i = 1} ^ {m} (Y_ {0}) _ {i} A_ {i} \ prec C}$${\ Displaystyle Y_ {0} \ in \ mathbb {R} ^ {m}}$${\ Displaystyle X ^ {*}}$

Exemplos

Exemplo 1

Considere três variáveis aleatórias , e . Por definição, os seus coeficientes de correlação são válidos se e somente se ${\ A displaystyle}$${\ Displaystyle B}$${\ C} displaystyle$ ${\ Displaystyle \ rho _ {AB}, \ \ rho _ {AC} \ rho _ {BC}}$

${\ Displaystyle {\ begin {pmatrix} 1 & \ rho _ {AB} e \ rho _ {AC} \\\ rho _ {AB} & 1 & \ rho _ {BC} \\\ rho _ {AC} e \ rho _ {BC} & 1 \ end {pmatrix}} \ succeq 0,}$

no caso em que esta matriz é chamada a matriz de correlação . Suponha que nós sabemos de algum conhecimento prévio (resultados empíricos de um experimento, por exemplo) que e . O problema de determinar os valores menor e maior que pode tomar é dada por: ${\ Displaystyle -0.2 \ leq \ rho _ {AB} \ leq -0.1}$${\ Displaystyle 0,4 \ leq \ rho _ {BC} \ leq 0,5}$${\ Displaystyle \ rho _ {AC} \}$

minimizar / maximizar ${\ Displaystyle x_ {13}}$

sujeito a

${\ Displaystyle -0.2 \ leq x_ {12} \ leq -0.1}$

${\ Displaystyle 0,4 \ leq x_ {23} \ leq 0,5}$

${\ Displaystyle {\ begin {pmatrix} 1 & x_ {12} & x_ {13} \\ x_ {12} & 1 & x_ {23} \\ x_ {13} & x_ {23} e 1 \ end {pmatrix}} \ succeq 0.}$

Nós estabelecemos para obter a resposta. Isto pode ser formulado por um SDP. Nós lidar com as restrições de desigualdade aumentando a matriz variável e introduzindo variáveis de folga , por exemplo ${\ Displaystyle \ rho _ {AB} = x_ {12}, \ \ rho _ {AC} = x_ {13}, \ \ rho _ {BC} = x_ {23}}$

${\ Displaystyle \ mathrm {tr} \ esquerda (\ esquerda ({\ begin {matriz} {cccccc} 0 & 1 & 0 & 0 & 0 & 0 \\ 0 & 0 & 0 & 0 & 0 & 0 \\ 0 & 0 & 0 & 0 & 0 & 0 \\ 0 & 0 & 0 & 1 & 0 & 0 \\ 0 & 0 & 0 & 0 & 0 & 0 \\ 0 & 0 & 0 & 0 & 0 & 0 \ final {matriz}} \ direita) \ cdot \ esquerda ({\ begin {matriz} {cccccc} 1 & X_ {12} & x_ {13} & 0 & 0 & 0 \\ x_ {12} & 1 & X_ {23} & 0 & 0 & 0 \\ x_ {13} & x_ {23} & 1 & 0 & 0 & 0 \\ 0 & 0 & 0 & s_ {1} & 0 & 0 \\ 0 & 0 & 0 & 0 & s_ {2} & 0 \\ 0 & 0 & 0 & 0 & 0 & s_ {3} \ final {matriz}} \ direita) \ direita) = x_ {12} + s_ {1} = - 0,1}$

Resolver este SDP dá os valores mínimos e máximos de como e respectivamente. ${\ Displaystyle \ rho _ {AC} = x_ {13} \}$${\ Displaystyle -0,978}$${\ Displaystyle 0,872}$

exemplo 2

Considere o problema

minimizar ${\ Displaystyle {\ frac {(c ^ {T} X) ^ {2}} {d ^ {T} x}}}$

sujeito a ${\ Displaystyle Ax + b \ geq 0}$

onde assumimos que sempre . ${\ Displaystyle d ^ {T} x> 0}$${\ Displaystyle Ax + b \ geq 0}$

Apresentando uma variável auxiliar o problema pode ser reformulada: ${\ Displaystyle t}$

minimizar ${\ Displaystyle t}$

sujeito a ${\ Displaystyle ax + b \ GEQ 0, \, {\ frac {(c ^ {T} X) ^ {2}} {d ^ {T} x}} \ leq t}$

Nesta formulação, o objetivo é uma função linear das variáveis . ${\ Displaystyle x, t}$

A primeira restrição pode ser escrito como

${\ Displaystyle {\ textbf {diag}} (ax + b) \ 0} GEQ$

em que a matriz é a matriz quadrada com valores na diagonal para igualar os elementos do vector . ${\ Displaystyle {\ textbf {diag}} (ax + b)}$${\ Displaystyle ax + b}$

A segunda restrição pode ser escrito como

${\ Displaystyle td ^ {T} X @ (c ^ {T} X) ^ {2} \ 0} GEQ$

Definindo como se segue ${\ D displaystyle}$

${\ Displaystyle D = \ esquerda [{\ begin {matriz} {} cc t & c ^ {T} x \\ c ^ {T} X & ^ d {T} x \ final {matriz}} \ direita]}$

Nós podemos usar a teoria dos complementos de Schur para ver que

${\ Displaystyle D \ 0} succeq$

(Boyd e Vandenberghe, 1996)

O programa semidefinite associado a este problema é

minimizar ${\ Displaystyle t}$

sujeito a ${\ Displaystyle \ esquerda [{\ begin {matriz} {ccc} {\ textbf {diag}} (ax + b) & 0 & 0 \\ 0 & t & c ^ {T} x \\ 0 & c ^ {T} X & d ^ {T} X \ end {array}} \ right] \ succeq 0}$

Exemplo 3 (algoritmo de aproximação Goemans-Williamson MAX CUT)

Programas semidefinite são ferramentas importantes para o desenvolvimento de algoritmos de aproximação para problemas de maximização NP-difíceis. O primeiro algoritmo de aproximação com base em uma SDP é devido a Michel Goemans e David P. Williamson (JACM, 1995). Eles estudaram o problema CUT MAX : Dado um gráfico G = ( V , E ), a saída de uma partição dos vértices V , de modo a maximizar o número de extremidades que atravessam de um lado para o outro. Este problema pode ser expressa como um programa quadrática inteiro :

Maximize de tal modo que cada .${\ Displaystyle \ soma _ {(i, j) \ em E} {\ frac {1-v_ {i} v_ {j}} {2}},}$${\ Displaystyle v_ {i} \ no \ {1, -1 \}}$

A menos que P = NP , não podemos resolver este problema de maximização de forma eficiente. No entanto, Goemans e Williamson observou um procedimento geral de três etapas para atacar esse tipo de problema:

1. Relaxe o programa quadrática inteiro em uma SDP.
2. Resolver o SDP (para dentro de uma arbitrariamente pequeno erro aditivo ).${\ Displaystyle \ epsilon}$
3. Rodada a solução SDP para obter uma solução aproximada para o programa quadrática originais inteiro.

Para MAX CUT, o relaxamento mais natural é

${\ Displaystyle \ max \ soma _ {(i, j) \ em E} {\ frac {1- \ Langle v_ {i}, {j} v_ \ rangle} {2}},}$de tal modo que , quando a maximização é sobre vectores em vez de escalares inteiros.${\ Displaystyle \ lVert v_ {i} \ rVert ^ {2} = 1}$${\ Displaystyle \ {v_ {i} \}}$

Este é um SDP, porque a função de objectivo e constrangimentos são funções lineares do vetor produtos internos. Resolvendo o SDP dá um conjunto de vetores unitários em ; desde os vetores não são obrigados a ser colineares, o valor deste programa relaxado só pode ser superior ao valor do programa inteiro quadrática originais. Finalmente, um procedimento de arredondamento é necessária para obter uma partição. Goemans e Williamson simplesmente escolher um hiperplana uniformemente aleatória através da origem e dividir os vértices de acordo com qual o lado do hiperplana os vectores correspondentes mentir. Programas de análise directa que este processo atinge um esperado proporção aproximação (garantia de execução) de 0,87856 - ε. (O valor esperado do corte é a soma sobre bordos da probabilidade de que a borda é cortada, que é proporcional ao ângulo entre os vectores nos pontos de extremidade do bordo longo . Comparando essa probabilidade de , na expectativa da razão é sempre a menos 0,87856.) Supondo que a conjectura originais jogos , pode ser mostrado que esta relação é essencialmente aproximação óptima. ${\ Displaystyle \ mathbf {R ^ {n}}}$${\ Displaystyle \ cos {^ - 1} \ Langle v_ {i}, {j} v_ \ rangle}$${\ Displaystyle \ pi}$${\ Displaystyle (1- \ Langle v_ {i}, {j} v_ \ rangle) / {2}}$

Uma vez que o artigo original de Goemans e Williamson, SDPs foram aplicadas para desenvolver inúmeros algoritmos de aproximação. Recentemente, Prasad Raghavendra desenvolveu um quadro geral de problema da satisfação de restrições com base na conjectura únicos jogos .

algoritmos

Existem vários tipos de algoritmos para a resolução SDPs. Estes algoritmos de saída o valor do SDP-se a um erro aditivo no tempo que é polinomial no tamanho descrição do programa e . ${\ Displaystyle \ epsilon}$${Displaystyle \ log \ (1 / \ epsilon)}$

métodos de pontos interiores

A maioria dos códigos são baseados em métodos de pontos interiores (PCSD, MOSEK , SeDuMi, SDPT3, DSDP, SDPA). Robusto e eficiente para problemas SDP lineares gerais. Restringida pelo fato de que os algoritmos são métodos de segunda ordem e necessidade de armazenar e fatorar uma matriz grande (e muitas vezes densa).

métodos de primeira ordem

Primeira ordem métodos para cónica optimização computação evitar, armazenamento e factorizing uma grande matriz de Hesse e escala para os problemas muito maiores do que os métodos de pontos interiores, em algum custo na precisão. Um método de primeira ordem é implementado na separação do cone Solver (SCS). Outro método de primeira ordem é o método de direcção alternada de multiplicadores (ADMM). Este método requer, em cada passo de projecção sobre o cone de matrizes semidefinite.

método Bundle

O código ConicBundle formula o problema SDP como uma optimização nonsmooth problema e resolve-o pelo método espectral Pacote de optimização nonsmooth. Esta abordagem é muito eficiente para uma classe especial de problemas SDP lineares.

De outros

Algoritmos baseados no método Aumentada de Lagrange (PENSDP) possuem um comportamento semelhante para os métodos de pontos interiores e pode ser especializado para alguns problemas muito grande escala. Outros algoritmos usar informação de baixo grau e reformulação do SDP como uma programação não-linear problema (SDPLR).

Formulários

Semidefinite programação tem sido aplicado para encontrar soluções aproximadas para os problemas de optimização combinatória, tais como a solução do corte max problema com um rácio de aproximação de 0,87856. PDS também são utilizadas na geometria para determinar gráficos Tensegrity, e surgem na teoria de controlo como IBLs .

Referências

• Lieven Vandenberghe, Stephen Boyd, "Programação semidefinite", SIAM avaliação 38, Março de 1996, pp. 49-95. pdf
• Monique Laurent, Franz Rendl, "Programação semidefinite e Programação Inteira", Relatório PNA-R0210, CWI, Amsterdam, de Abril de 2002. otimização-online
• E. de Klerk, "aspectos da programação semidefinida: Interior Ponto Algoritmos e aplicações seleccionadas", Kluwer Academic Publishers, março de 2002, ISBN  1-4020-0547-4 .
• Robert M. Freund, "Introdução à programação semidefinida (SDP), SDP-Introdução

links externos

• Links para apresentações e eventos no campo
• Notas de aula de László Lovász sobre programação semidefinida