Stima della posizione 3D utilizzando una videocamera 2D

Ho una fotocamera (iPhone), ho un oggetto di controllo 3D nell'immagine che conosco molto bene le sue proprietà. (Il mio oggetto di controllo). C'è anche un oggetto secondario in movimento. L'obiettivo finale è stabilire la traiettoria 3D dell'oggetto in movimento per un determinato periodo di tempo. (Inseguimento)

Mi piace chiedere, posso scoprirlo?

• Distanza del telefono dall'oggetto di controllo (per motivi di discussione, supponiamo che la videocamera sia a una certa altezza e che una certa distanza non sia nota ma la videocamera è perpendicolare alla superficie che è nota)

• L'oggetto secondario in cui posso individuare l'oggetto in ogni fotogramma successivo. Il mio obiettivo è stimare la sua traiettoria 3D come ho indicato sopra.

Domanda bonus, possiamo rendere il sistema in modo tale che la distanza dei telefoni dall'oggetto di controllo possa essere impostata (anche se non preferita), questo mi aiuterebbe con il secondo punto?

Se l'oggetto ha 6 punti noti (coordinate 3D conosciute, e Z ) è possibile calcolare la posizione della telecamera relativa al sistema di coordinate degli oggetti.$X, Y$$Z$

Innanzitutto alcune nozioni di base.

$(X,Y,Z)$$\omega$$\textbf{X} = \omega \begin{bmatrix}X & Y & Z & 1\end{bmatrix}^T$$\omega=1$$\textbf{X} \leftarrow \frac{\textbf{X}}{\omega}$$\textbf{x} = \omega\begin{bmatrix}X & Y & 1\end{bmatrix}$$\omega, X,Y$$Z$

$3\times4$

$$\textbf{x} = P\textbf{X}$$

$\textbf{x}$$\textbf{X}$

Ricordiamo che il prodotto incrociato tra due 3 vettori può essere definito come moltiplicazione di matrici vettoriali in modo tale che:

$$\textbf{v} \times \textbf{u} = \\ ( \textbf{v} )_x \textbf{u} = \\ \begin{bmatrix} 0 & -v_3& v_2 \\ v_3 & 0 & -v_1 \\ -v_2 & v_1 & 0 \end{bmatrix} \textbf{u}$$

$\textbf{v} \times \textbf{v} = \textbf{0}$

$P$$\textbf{x}$

$$(\textbf{x})_x\textbf{x} = (\textbf{x})_xP\textbf{X} = \textbf{0}$$

Aha! Il risultato deve essere zero vettore. Se ora apriamo l'equazione otteniamo:

$$\begin{bmatrix} 0 & -w& y \\ w & 0 & -x \\ -y & x & 0 \end{bmatrix} \begin{bmatrix} P_{1,1} & P_{1,2} & P_{1,3} & P_{1,4} \\ P_{2,1} & P_{2,2} & P_{2,3} & P_{2,4} \\ P_{3,1} & P_{3,2} & P_{3,3} & P_{3,4} \end{bmatrix} \textbf{X} \\ = \begin{bmatrix} P_{3,4} W y - P_{2,1} X w - P_{2,2} Y w - P_{2,4} W w + P_{3,1} X y - P_{2,3} Z w + P_{3,2} Y y + P_{3,3} Z y \\ P_{1,4} W w + P_{1,1} X w - P_{3,4} W x + P_{1,2} Y w - P_{3,1} X x + P_{1,3} Z w - P_{3,2} Y x - P_{3,3} Z x \\ P_{2,4} W x + P_{2,1} X x - P_{1,4} W y - P_{1,1} X y + P_{2,2} Y x - P_{1,2} Y y + P_{2,3} Z x - P_{1,3} Z y \end{bmatrix} = \textbf{0}$$

$P$

$$\tiny \begin{bmatrix} 0 & 0 & 0 & 0 & - X\, w & - Y\, w & - Z\, w & - W\, w & X\, y & Y\, y & Z\, y & W\, y\\ X\, w & Y\, w & Z\, w & W\, w & 0 & 0 & 0 & 0 & - X\, x & - Y\, x & - Z\, x & - W\, x\\ - X\, y & - Y\, y & - Z\, y & - W\, y & X\, x & Y\, x & Z\, x & W\, x & 0 & 0 & 0 & 0 \end{bmatrix} \begin{bmatrix} \textbf{P}_1 \\ \textbf{P}_2 \\ \textbf{P}_3 \\ \end{bmatrix} = \textbf{0}$$

$\textbf{P}_n$$n$$P$

Piccola pausa in modo da poter raccogliere le nostre difficoltà. Si noti che la precedente equazione matriciale deve essere formata per ogni corrispondenza 3D-> 2D nota (devono essercene almeno 6).

$2\times12$$A$

$$A\begin{bmatrix} \textbf{P}_1 \\ \textbf{P}_2 \\ \textbf{P}_3 \\ \end{bmatrix} = \textbf{0}$$

$$\begin{bmatrix} \textbf{P}_1 \\ \textbf{P}_2 \\ \textbf{P}_3 \\ \end{bmatrix} = \textbf{0}$$

Fortunatamente possiamo usare la decomposizione a valore singolare (SVD) per forzare

$$\| \begin{bmatrix} \textbf{P}_1 \\ \textbf{P}_2 \\ \textbf{P}_3 \\ \end{bmatrix} \|=1$$

Quindi, per risolvere le equazioni, calcola SVD della matrice e scegli il vettore singolare corrispondente al valore di autovena più piccolo. Questo vettore è il vettore nullo della matrice A e anche la soluzione per la matrice telecamera . Basta unstack il e la forma .$A$$P$$\begin{bmatrix} \textbf{P}_1 & \textbf{P}_2 & \textbf{P}_3 \end{bmatrix}^T$$P$

Ora volevi sapere la distanza dall'oggetto. è definito come:$P$

$$P = K\begin{bmatrix}R & -R\textbf{C}\end{bmatrix}$$

dove è la posizione della telecamera relativa all'origine degli oggetti. Può essere risolto da calcolando il vettore null di s.$\textbf{C}$$P$$P$

(Hartley, Zisserman - Geometria a vista multipla in Computer Vision)

Infine, quando si calcola la posizione delle telecamere per due fotogrammi, è possibile calcolare le posizioni degli oggetti sconosciuti (o le posizioni di alcuni dei punti dell'oggetto) risolvendo due equazioni per :$X$

$$\textbf{x}_1 = P_1 \textbf{X} \\ \textbf{x}_2 = P_2 \textbf{X} \\ $$

Il che va più o meno allo stesso modo in cui abbiamo risolto le matrici della fotocamera:

$$(\textbf{x}_1)_xP_1\textbf{X} = \textbf{0} \\ (\textbf{x}_2)_xP_2\textbf{X} = \textbf{0} \\ $$

E così via.