Ressecção da câmera - Camera resectioning

Ressecção de câmera é o processo de estimar os parâmetros de um modelo de câmera pinhole aproximando a câmera que produziu uma determinada fotografia ou vídeo. Normalmente, os parâmetros da câmera pinhole são representados em uma matriz 3 × 4 chamada de matriz da câmera .

Esse processo costuma ser chamado de calibração geométrica da câmera ou simplesmente calibração da câmera , embora esse termo também possa se referir à calibração da câmera fotométrica .

Definições

A ressecção da câmera determina qual luz de entrada está associada a cada pixel na imagem resultante. Em uma câmera pinhole ideal , uma matriz de projeção simples é o suficiente para fazer isso. Com sistemas de câmeras mais complexos, erros resultantes de lentes desalinhadas e deformações em suas estruturas podem resultar em distorções mais complexas na imagem final.

A matriz de projeção da câmera é derivada dos parâmetros intrínsecos e extrínsecos da câmera e é freqüentemente representada pela série de transformações; por exemplo, uma matriz de parâmetros intrínsecos da câmera, uma matriz de rotação 3 × 3 e um vetor de translação. A matriz de projeção da câmera pode ser usada para associar pontos no espaço da imagem de uma câmera com locais no espaço mundial 3D.

A ressecção de câmera é frequentemente usada na aplicação de visão estéreo, onde as matrizes de projeção de duas câmeras são usadas para calcular as coordenadas mundiais 3D de um ponto visualizado por ambas as câmeras.

Algumas pessoas chamam isso de calibração de câmera , mas muitos restringem o termo calibração de câmera apenas para a estimativa de parâmetros internos ou intrínsecos.

Coordenadas homogêneas

Neste contexto, usamos para representar uma posição de ponto 2D em coordenadas de pixel e é usado para representar uma posição de ponto 3D em coordenadas mundiais . Em ambos os casos, eles são representados em coordenadas homogêneas (ou seja, eles têm um último componente adicional, que é inicialmente, por convenção, um 1), que é a notação mais comum em robótica e transformadas de corpo rígido . ${\ displaystyle [u \ v \ 1] ^ {T}}$${\ displaystyle [x_ {w} \ y_ {w} \ z_ {w} \ 1] ^ {T}}$

Projeção

Referindo-se ao modelo de câmera pinhole , uma matriz de câmera é usada para denotar um mapeamento projetivo de coordenadas mundiais para coordenadas de pixel . ${\ displaystyle M}$

${\ displaystyle z_ {c} {\ begin {bmatrix} u \\ v \\ 1 \ end {bmatrix}} = K \, {\ begin {bmatrix} R&T \ end {bmatrix}} {\ begin {bmatrix} x_ {w} \\ y_ {w} \\ z_ {w} \\ 1 \ end {bmatriz}} = M {\ begin {bmatriz} x_ {w} \\ y_ {w} \\ z_ {w} \\ 1 \ end {bmatrix}}}$

onde . ${\ displaystyle M = K \, {\ begin {bmatrix} R&T \ end {bmatrix}}}$

Parâmetros intrínsecos

${\ displaystyle K = {\ begin {bmatrix} \ alpha _ {x} & \ gamma & u_ {0} & 0 \\ 0 & \ alpha _ {y} & v_ {0} & 0 \\ 0 & 0 & 1 & 0 \ end {bmatrix}}}$

A matriz intrínseca contém 5 parâmetros intrínsecos do modelo de câmera específico. Esses parâmetros abrangem comprimento focal , formato do sensor de imagem e ponto principal . Os parâmetros e representam o comprimento focal em termos de pixels, onde e são os inversos da largura e altura de um pixel no plano de projeção e é o comprimento focal em termos de distância. representa o coeficiente de inclinação entre os eixos xey, e geralmente é 0. e representa o ponto principal, que estaria idealmente no centro da imagem. ${\ displaystyle K}$${\ displaystyle \ alpha _ {x} = f \ cdot m_ {x}}$${\ displaystyle \ alpha _ {y} = f \ cdot m_ {y}}$${\ displaystyle m_ {x}}$${\ displaystyle m_ {y}}$${\ displaystyle f}$${\ displaystyle \ gamma}$${\ displaystyle u_ {0}}$${\ displaystyle v_ {0}}$

Parâmetros intrínsecos não lineares, como distorção da lente, também são importantes, embora não possam ser incluídos no modelo de câmera linear descrito pela matriz de parâmetros intrínsecos. Muitos algoritmos modernos de calibração de câmeras estimam esses parâmetros intrínsecos também na forma de técnicas de otimização não linear. Isso é feito na forma de otimização da câmera e dos parâmetros de distorção na forma do que é geralmente conhecido como ajuste de pacote .

Parâmetros extrínsecos

${\ displaystyle {} {\ begin {bmatrix} R_ {3 \ times 3} & T_ {3 \ times 1} \\ 0_ {1 \ times 3} & 1 \ end {bmatrix}} _ {4 \ times 4}}$

${\ displaystyle R, T}$são os parâmetros extrínsecos que denotam as transformações do sistema de coordenadas de coordenadas mundiais 3D para coordenadas de câmera 3D. Da mesma forma, os parâmetros extrínsecos definem a posição do centro da câmera e o rumo da câmera em coordenadas mundiais. é a posição da origem do sistema de coordenadas mundial expressa em coordenadas do sistema de coordenadas centrado na câmera. é frequentemente considerada erroneamente a posição da câmera. A posição ,, da câmera expressa em coordenadas mundiais é (uma vez que é uma matriz de rotação ). ${\ displaystyle T}$${\ displaystyle T}$${\ displaystyle C}$${\ displaystyle C = -R ^ {- 1} T = -R ^ {T} T}$${\ displaystyle R}$

A calibração da câmera é freqüentemente usada como um estágio inicial na visão computacional .

Quando uma câmera é usada, a luz do ambiente é focada em um plano de imagem e capturada. Este processo reduz as dimensões dos dados captados pela câmera de três para dois (a luz de uma cena 3D é armazenada em uma imagem 2D). Cada pixel no plano da imagem, portanto, corresponde a um feixe de luz da cena original.

Algoritmos

Existem muitas abordagens diferentes para calcular os parâmetros intrínsecos e extrínsecos para uma configuração de câmera específica. Os mais comuns são:

1. Método de transformação linear direta (DLT)
2. Método de Zhang
3. Método de Tsai
4. Método de Selby (para câmeras de raio-X)

Método de Zhang

O modelo Zhang é um método de calibração de câmera que usa técnicas de calibração tradicionais (pontos de calibração conhecidos) e técnicas de autocalibração (correspondência entre os pontos de calibração quando eles estão em posições diferentes). Para realizar uma calibração completa pelo método Zhang, pelo menos três imagens diferentes do alvo / medidor de calibração são necessárias, seja movendo o medidor ou a própria câmera. Se alguns dos parâmetros intrínsecos forem fornecidos como dados (ortogonalidade da imagem ou coordenadas do centro óptico), o número de imagens necessárias pode ser reduzido para dois.

Em uma primeira etapa, uma aproximação da matriz de projeção estimada entre o alvo de calibração e o plano da imagem é determinada usando o método DLT. Posteriormente, aplicando técnicas de autocalibração para obtenção da imagem da matriz cônica absoluta [Link]. A principal contribuição do método Zhang é como extrair um intrínseco restrito e números e parâmetros de calibração da posição do alvo de calibração. ${\ displaystyle H}$${\ displaystyle K}$${\ displaystyle n}$${\ displaystyle R}$${\ displaystyle T}$${\ displaystyle n}$

Derivação

Suponha que temos uma homografia que mapeia pontos em um "plano de sonda" para pontos na imagem. ${\ displaystyle {\ textbf {H}}}$${\ displaystyle x _ {\ pi}}$${\ displaystyle \ pi}$${\ displaystyle x}$

Os pontos circulares estão tanto em nosso plano de sonda quanto na cônica absoluta . Deitar, é claro, significa que eles também são projetados na imagem da cônica absoluta (IAC) , assim e . Os pontos circulares são projetados como ${\ displaystyle I, J = {\ begin {bmatrix} 1 & \ pm j & 0 \ end {bmatrix}} ^ {\ mathrm {T}}}$${\ displaystyle \ pi}$${\ displaystyle \ Omega _ {\ infty}}$${\ displaystyle \ Omega _ {\ infty}}$${\ displaystyle \ omega}$${\ displaystyle x_ {1} ^ {T} \ omega x_ {1} = 0}$${\ displaystyle x_ {2} ^ {T} \ omega x_ {2} = 0}$

${\ displaystyle {\ begin {align} x_ {1} & = {\ textbf {H}} I = {\ begin {bmatrix} h_ {1} & h_ {2} & h_ {3} \ end {bmatrix}} {\ begin {bmatrix} 1 \\ j \\ 0 \ end {bmatrix}} = h_ {1} + jh_ {2} \\ x_ {2} & = {\ textbf {H}} J = {\ begin {bmatrix} h_ {1} & h_ {2} & h_ {3} \ end {bmatrix}} {\ begin {bmatrix} 1 \\ - j \\ 0 \ end {bmatrix}} = h_ {1} -jh_ {2} \ end {alinhado}}}$.

Na verdade, podemos ignorar enquanto substituímos nossa nova expressão da seguinte maneira: ${\ displaystyle x_ {2}}$${\ displaystyle x_ {1}}$

${\ displaystyle {\ begin {alinhado} x_ {1} ^ {T} \ omega x_ {1} & = \ left (h_ {1} + jh_ {2} \ right) ^ {T} \ omega \ left (h_ {1} + jh_ {2} \ direita) \\ & = \ esquerda (h_ {1} ^ {T} + jh_ {2} ^ {T} \ direita) \ omega \ esquerda (h_ {1} + jh_ { 2} \ direita) \\ & = h_ {1} ^ {T} \ omega h_ {1} + j \ esquerda (h_ {2} ^ {T} \ omega h_ {2} \ direita) \\ & = 0 \ end {alinhado}}}$

Algoritmo de Tsai

É um algoritmo de 2 estágios, que calcula a pose (orientação 3D e translação do eixo xe do eixo y) no primeiro estágio. No segundo estágio, ele calcula o comprimento focal, os coeficientes de distorção e a translação do eixo z.

Método de Selby (para câmeras de raio-X)

O método de calibração de câmera de Selby aborda a calibração automática de sistemas de câmera de raio-X. Os sistemas de câmeras de raios X, que consistem em um tubo gerador de raios X e um detector de estado sólido, podem ser modelados como sistemas de câmeras pinhole, compreendendo 9 parâmetros de câmera intrínsecos e extrínsecos. O registro baseado em intensidade com base em uma imagem de raio-X arbitrária e um modelo de referência (como um conjunto de dados tomográfico) pode então ser usado para determinar os parâmetros relativos da câmera sem a necessidade de um corpo de calibração especial ou quaisquer dados verdadeiros.

Veja também

• Realidade aumentada
• Virtualidade aumentada
• Algoritmo de oito pontos
• Realidade mista
• Modelo de câmera pinhole
• Perspectiva-n-Ponto
• Estimativa de pose 3D

Referências

links externos

• Calibração de câmera de Zhang e software de calibração de Tsai na licença LGPL
• Método de calibração de câmera de Zhang com software
• C ++ Camera Calibration Toolbox com código-fonte
• Caixa de ferramentas de calibração de câmera para Matlab
• O DLR CalDe e DLR CalLab Camera Calibration Toolbox
• Calibração de câmera - palestra de realidade aumentada na TU Muenchen, Alemanha
• Calibração da câmera (usando ARToolKit )
• Um procedimento de calibração de câmera de quatro etapas com correção de imagem implícita