Kameraresektion - Camera resectioning

Kameraresektion ist der Prozess der Schätzung der Parameter eines Lochkameramodells, das sich der Kamera annähert, die ein bestimmtes Foto oder Video produziert hat. Normalerweise werden die Parameter der Lochkamera in einer 3 × 4-Matrix dargestellt, die als Kameramatrix bezeichnet wird .

Dieser Vorgang wird oft als geometrische Kamerakalibrierung oder einfach als Kamerakalibrierung bezeichnet , obwohl dieser Begriff sich auch auf die photometrische Kamerakalibrierung beziehen kann .

Definitionen

Die Kameraresektion bestimmt, welches einfallende Licht jedem Pixel des resultierenden Bildes zugeordnet ist. In einer idealen Lochkamera reicht dazu eine einfache Projektionsmatrix . Bei komplexeren Kamerasystemen können Fehler, die aus falsch ausgerichteten Linsen und Verformungen in ihren Strukturen resultieren, zu komplexeren Verzerrungen im endgültigen Bild führen.

Die Kameraprojektionsmatrix wird aus den intrinsischen und extrinsischen Parametern der Kamera abgeleitet und wird oft durch die Reihe von Transformationen dargestellt; B. eine Matrix von kamerainternen Parametern, eine 3 × 3- Rotationsmatrix und ein Translationsvektor. Die Kameraprojektionsmatrix kann verwendet werden, um Punkte im Bildraum einer Kamera mit Orten im 3D-Weltraum zu verknüpfen.

Die Kameraresektion wird häufig bei der Anwendung von Stereovision verwendet, bei der die Kameraprojektionsmatrizen von zwei Kameras verwendet werden, um die 3D-Weltkoordinaten eines von beiden Kameras betrachteten Punktes zu berechnen.

Manche Leute nennen dies Kamerakalibrierung , aber viele beschränken den Begriff Kamerakalibrierung nur auf die Schätzung interner oder intrinsischer Parameter.

Homogene Koordinaten

In diesem Zusammenhang verwenden wir eine 2D - Punktposition in repräsentieren Pixelkoordinaten und verwendet, um eine 3D - Punktposition in repräsentieren Weltkoordinaten. In beiden Fällen werden sie in homogenen Koordinaten dargestellt (dh sie haben eine zusätzliche letzte Komponente, die zunächst per Konvention eine 1 ist), was die gebräuchlichste Notation in der Robotik und Starrkörpertransformation ist . ${\displaystyle [u\ v\ 1]^{T}}$${\displaystyle [x_{w}\ y_{w}\ z_{w}\ 1]^{T}}$

Projektion

Mit Bezug auf das Lochkameramodell , eine Kameramatrix wird verwendet , um eine projektive Abbildung von bezeichnen Weltkoordinaten in Pixelkoordinaten. ${\displaystyle M}$

${\displaystyle z_{c}{\begin{bmatrix}u\\v\\1\end{bmatrix}}=K\,{\begin{bmatrix}R&T\end{bmatrix}}{\begin{bmatrix}x_ {w}\\y_{w}\\z_{w}\\1\end{bmatrix}}=M{\begin{bmatrix}x_{w}\\y_{w}\\z_{w}\\ 1\end{bmatrix}}}$

wo . ${\displaystyle M=K\,{\begin{bmatrix}F&T\end{bmatrix}}}$

Intrinsische Parameter

${\displaystyle K={\begin{bmatrix}\alpha_{x}&\gamma &u_{0}&0\\0&\alpha_{y}&v_{0}&0\\0&0&1&0\end{bmatrix}}}$

Die intrinsische Matrix enthält 5 intrinsische Parameter des spezifischen Kameramodells. Diese Parameter umfassen Brennweite , Bildsensorformat und Hauptpunkt . Die Parameter und stellen die Brennweite in Pixel dar, wobei und die Umkehrung der Breite und Höhe eines Pixels auf der Projektionsebene sind und die Brennweite in Bezug auf die Entfernung ist. stellt den Skew-Koeffizienten zwischen der x- und der y-Achse dar und ist oft 0. und stellt den Hauptpunkt dar, der idealerweise in der Mitte des Bildes liegen würde. ${\displaystyle K}$${\displaystyle \alpha_{x}=f\cdot m_{x}}$${\displaystyle \alpha_{y}=f\cdot m_{y}}$${\displaystyle m_{x}}$${\displaystyle m_{y}}$${\displaystyle f}$${\displaystyle\gamma}$${\displaystyle u_{0}}$${\displaystyle v_{0}}$

Nichtlineare intrinsische Parameter wie die Linsenverzerrung sind ebenfalls wichtig, obwohl sie nicht in das durch die intrinsische Parametermatrix beschriebene lineare Kameramodell eingeschlossen werden können. Viele moderne Kamerakalibrieralgorithmen schätzen auch diese intrinsischen Parameter in Form von nichtlinearen Optimierungstechniken. Dies geschieht in Form einer Optimierung der Kamera- und Verzeichnungsparameter in Form einer sogenannten Bündelanpassung .

Extrinsische Parameter

${\displaystyle {}{\begin{bmatrix}R_{3\times 3}&T_{3\times 1}\\0_{1\times 3}&1\end{bmatrix}}_{4\times 4}}$

${\displaystyle R,T}$sind die extrinsischen Parameter, die die Koordinatensystemtransformationen von 3D-Weltkoordinaten zu 3D-Kamerakoordinaten bezeichnen. Äquivalent definieren die extrinsischen Parameter die Position des Kamerazentrums und den Kamerakurs in Weltkoordinaten. ist die Position des Ursprungs des Weltkoordinatensystems, ausgedrückt in Koordinaten des kamerazentrierten Koordinatensystems. wird oft fälschlicherweise als Position der Kamera angesehen. Die in Weltkoordinaten ausgedrückte Position, , der Kamera ist (da es sich um eine Rotationsmatrix handelt ). ${\displaystyle T}$${\displaystyle T}$${\displaystyle C}$${\displaystyle C=-R^{-1}T=-R^{T}T}$${\displaystyle R}$

Die Kamerakalibrierung wird oft als frühes Stadium der Computer Vision verwendet .

Bei Verwendung einer Kamera wird Licht aus der Umgebung auf eine Bildebene fokussiert und eingefangen. Dieser Prozess reduziert die Dimensionen der von der Kamera aufgenommenen Daten von drei auf zwei (das Licht einer 3D-Szene wird auf einem 2D-Bild gespeichert). Jedes Pixel auf der Bildebene entspricht daher einem Lichtstrahl aus der Originalszene.

Algorithmen

Es gibt viele verschiedene Ansätze, um die intrinsischen und extrinsischen Parameter für ein bestimmtes Kamera-Setup zu berechnen. Die häufigsten sind:

1. Methode der direkten linearen Transformation (DLT)
2. Zhangs Methode
3. Tsais Methode
4. Selbys Methode (für Röntgenkameras)

Zhangs Methode

Das Zhang-Modell ist eine Kamerakalibrierungsmethode, die traditionelle Kalibrierungstechniken (bekannte Kalibrierungspunkte) und Selbstkalibrierungstechniken (Entsprechung zwischen den Kalibrierungspunkten, wenn sie sich in unterschiedlichen Positionen befinden) verwendet. Um eine vollständige Kalibrierung nach der Zhang-Methode durchzuführen, sind mindestens drei verschiedene Bilder des Kalibrierungsziels/-messgeräts erforderlich, entweder durch Bewegen des Messgeräts oder der Kamera selbst. Wenn einige der intrinsischen Parameter als Daten angegeben werden (Orthogonalität des Bildes oder optische Zentrumskoordinaten), kann die Anzahl der benötigten Bilder auf zwei reduziert werden.

In einem ersten Schritt wird mittels DLT-Verfahren eine Annäherung der geschätzten Projektionsmatrix zwischen dem Kalibrierziel und der Bildebene bestimmt. Anschließend wurden Selbstkalibrierungstechniken angewendet, um das Bild der absoluten konischen Matrix zu erhalten [Link]. Der Hauptbeitrag der Zhang-Methode besteht darin, eine eingeschränkte Intrinsik und Anzahl von und Kalibrierungsparametern aus der Pose des Kalibrierungsziels zu extrahieren . ${\displaystyle H}$${\displaystyle K}$${\displaystyle n}$${\displaystyle R}$${\displaystyle T}$${\displaystyle n}$

Ableitung

Angenommen, wir haben eine Homographie , die Punkte auf einer "Sondenebene" auf Punkte auf dem Bild abbildet . ${\displaystyle {\textbf {H}}}$${\displaystyle x_{\pi}}$${\displaystyle \pi}$${\displaystyle x}$

Die Kreispunkte liegen sowohl auf unserer Sondenebene als auch auf dem absoluten Kegelschnitt . Aufliegen bedeutet natürlich auch, dass sie auf das Bild des absoluten Kegelschnitts (IAC) projiziert werden , also und . Die kreisförmigen Punkte projizieren als ${\displaystyle I,J={\begin{bmatrix}1&\pm j&0\end{bmatrix}}^{\mathrm {T}}}$${\displaystyle \pi}$${\displaystyle \Omega_{\infty}}$${\displaystyle \Omega_{\infty}}$${\displaystyle \omega}$${\displaystyle x_{1}^{T}\omega x_{1}=0}$${\displaystyle x_{2}^{T}\omega x_{2}=0}$

${\displaystyle {\begin{aligned}x_{1}&={\textbf {H}}I={\begin{bmatrix}h_{1}&h_{2}&h_{3}\end{bmatrix}}{\ begin{bmatrix}1\\j\\0\end{bmatrix}}=h_{1}+jh_{2}\\x_{2}&={\textbf {H}}J={\begin{bmatrix} h_{1}&h_{2}&h_{3}\end{bmatrix}}{\begin{bmatrix}1\\-j\\0\end{bmatrix}}=h_{1}-jh_{2}\end {ausgerichtet}}}$.

Wir können tatsächlich ignorieren, während wir unseren neuen Ausdruck wie folgt ersetzen : ${\displaystyle x_{2}}$${\displaystyle x_{1}}$

${\displaystyle {\begin{aligned}x_{1}^{T}\omega x_{1}&=\left(h_{1}+jh_{2}\right)^{T}\omega \left(h_ {1}+jh_{2}\right)\\&=\left(h_{1}^{T}+jh_{2}^{T}\right)\omega \left(h_{1}+jh_{ 2}\right)\\&=h_{1}^{T}\omega h_{1}+j\left(h_{2}^{T}\omega h_{2}\right)\\&=0 \end{ausgerichtet}}}$

Tsais Algorithmus

Es ist ein 2-Stufen-Algorithmus, der die Pose (3D-Orientierung und x- und y-Achsen-Translation) in der ersten Stufe berechnet. In der zweiten Stufe berechnet es die Brennweite, die Verzerrungskoeffizienten und die Verschiebung der z-Achse.

Selbys Methode (für Röntgenkameras)

Die Kamerakalibrierungsmethode von Selby befasst sich mit der automatischen Kalibrierung von Röntgenkamerasystemen. Röntgenkamerasysteme, bestehend aus der Röntgenröhre und einem Festkörperdetektor, können als Lochkamerasysteme mit 9 intrinsischen und extrinsischen Kameraparametern modelliert werden. Eine intensitätsbasierte Registrierung basierend auf einem beliebigen Röntgenbild und einem Referenzmodell (als tomographischer Datensatz) kann dann verwendet werden, um die relativen Kameraparameter zu bestimmen, ohne dass ein spezieller Kalibrierkörper oder Ground-Truth-Daten erforderlich sind.

Siehe auch

• Erweiterte Realität
• Erweiterte Virtualität
• Acht-Punkte-Algorithmus
• Gemischte Realität
• Lochkamera-Modell
• Perspektive-n-Punkt
• 3D-Posenschätzung

Verweise

Externe Links

• Kamerakalibrierung von Zhang und Kalibrierungssoftware von Tsai auf LGPL-Lizenz
• Kamerakalibrierungsmethode von Zhang mit Software
• C++ Camera Calibration Toolbox mit Quellcode
• Kamera-Kalibrierungs-Toolbox für Matlab
• Die DLR CalDe- und DLR CalLab-Toolbox zur Kamerakalibrierung
• Kamerakalibrierung - Augmented Reality Vorlesung an der TU München, Deutschland
• Kamerakalibrierung (mit ARToolKit )
• Ein Kamerakalibrierungsverfahren in vier Schritten mit impliziter Bildkorrektur