Calcolo di un'omografia basata su linee rilevate

So che puoi calcolare le omografie dall'immagine al piano della telecamera usando i punti di corrispondenza tra un "modello perfetto" e i punti dell'immagine.

Lo sto facendo per un campo / campo da calcio e ho usato il rilevamento dei bordi per trovare le linee bianche in campo.

Ma la fotocamera non copre (sempre) tutto il pitch, quindi non riesco a vedere tutti gli angoli ... e solo gli angoli sono punti conosciuti al 100% nel modello (nessun altro punto distinto).

Quindi il problema è che, a meno che la linea non si intersechi con un'altra linea e formi un angolo, conosco solo i punti dell'immagine della linea, non le corrispondenti coordinate "perfette / reali" nel modello.

C'è un modo in cui posso usare le linee rilevate per calcolare un'omografia, o anche solo un insieme di omografie candidate , anche se le linee rilevate non si intersecano tra loro e creano un angolo?

Immagine di esempio, che mostra il passo, il nostro campo visivo e i punti del campo in cui posso conoscere le coordinate del mondo reale / modello corrispondenti (cerchi verdi), e un esempio di 2 linee che potrebbero essere completamente inutili dal nostro campo visivo , Non ho idea di esattamente a che punto iniziano o si fermano nel corrispondente mondo reale / modello del campo:

inserisci qui la descrizione dell'immagine Le linee rosse sono esempi di linee che vorrei utilizzare, ma non conosco le loro coordinate del mondo reale, ed è difficile stimarle perché, a seconda della posa della telecamera, i punti corrispondenti potrebbero essere "ovunque".

— Henrik Kjus Alstad
fonte

Hai delle immagini di esempio? O almeno uno schizzo di possibili casi per il rilevamento di linee? Penso che la risposta breve alla tua domanda sia "sì, puoi", ma maggiori dettagli da te aiuterebbero a dare una risposta più dettagliata :)

— penelope,

Potete fornire un'immagine di esempio? Stai dicendo che i segmenti di linea rilevati non si intersecano o hai provato ad estendere i segmenti rilevati alle linee e poi a cercare di trovare intersezioni?

— ppalasek,

Ho aggiunto un'immagine di esempio alla domanda

— Henrik Kjus Alstad,

L'hai mai capito? Sono interessato anche ai risultati.

Risposte:

Spiegherò due approcci per questo:

1) Un approccio richiederebbe un algoritmo di corrispondenza delle linee. Dopo aver abbinato le linee, puoi semplicemente usare i punti finali delle linee per calcolare l'omografia. Per ottenere ciò, i descrittori basati su EDLine o LSD sono stati recentemente proposti in OpenCV. Inoltre, sono implementati hashing e corrispondenza rapida di essi. Guarda i video qui:

http://www.youtube.com/watch?v=MqMjvSkM39k

http://www.youtube.com/watch?v=naSWTlbg3To

Il recente repository opencv_contrib contiene il codice sorgente per questi metodi.

Nel caso in cui i punti finali della linea siano rumorosi, è possibile utilizzare direttamente le linee per calcolare le omografie. Tali documenti avrebbero quindi letto:

Rapporto interno: 2005-V04 Calcolo di omografie da tre linee o punti in una coppia di immagini G. Lopez-Nicolas, JJ Guerrero, OA Pellejero, C. Sagues

Relazione interna: 2003-V01 Corrispondenza di linea robusta e stima delle omografie contemporaneamente G. Lopez-Nicolas

Abbinamento probabilistico di linee per la loro omografia Taemin Kim, Jihwan Woo e In So Kweon

2) Esiste un metodo specifico per i campi qui riportati:

" Utilizzo delle funzioni di linea ed ellisse per la rettifica del video trasmesso da hockey .", Gupta, Ankur, James J. Little e Robert J. Woodham Computer and Robot Vision (CRV), Conferenza canadese del 2011 su. IEEE, 2011.

" Combinazione di corrispondenze di linee e punti per la stima dell'omografia ", Dubrofsky, Elan e Robert J. Woodham . Simposio internazionale sul Visual Computing. Springer Berlin Heidelberg, 2008.

$\mathbf{l}_i=(u,v,1)^T$ $\mathbf{l}_i^{'}=(x,y,1)^T$

l_{i}^{^{'}} = H^{T} l_{i}

$\mathbf{l}_i^{'} = \mathbf{H}^T \mathbf{l}_i$

In questa forma l'equazione può essere inserita direttamente nel metodo DLT:

A_{i} = [\begin{matrix} - u & 0 & u x & - v & 0 & v x & - 1 & 0 & x \\ 0 & - u & u y & 0 & - v & v y & 0 & - 1 & y \end{matrix}]

$A_i = \begin{bmatrix} -u & 0 & ux & -v & 0 & vx & -1 & 0 & x \\ 0 & -u & uy & 0 & -v & vy & 0 & -1 & y \end{bmatrix}$

L'unica differenza è la normalizzazione, che troverai nei riferimenti sopra.

$x$ $C$ $x^TCx=0$

C^{'} = H^{- T} C H^{- 1}

$C' = H^{-T}CH^{-1}$

I riferimenti sopra spiegano anche come inserire questo vincolo nell'algoritmo DLT.

Utilizzando ellissi e linee, è possibile derivare una solida relazione proiettiva.

— Tolga Birdal
fonte

Se le linee non sono parallele, è possibile calcolare il punto della loro intersezione e utilizzarlo come punto di riferimento. Nel tuo dipinto puoi usare anche i punti viola:

inserisci qui la descrizione dell'immagine

A proposito, l'intersezione delle linee non deve essere nell'immagine. Finché le linee sono parallele

Se le linee sono parallele, è possibile utilizzarle per ottenere ulteriori vincoli. Ad esempio, se hai N <4 punti e K linee potresti essere in grado di stimare la trasformazione

Ricordiamo che l'equazione della trasformazione proiettiva è:

$x' = \frac{\left ( a_{11}x+a_{12}y+a_{13} \right ) } {\left ( a_{31}x+a_{32}y+1 \right )} \\ y' = \frac{\left ( a_{21}x+a_{22}y+a_{23} \right ) } {\left ( a_{31}x+a_{32}y+1 \right )}$

Il tuo obiettivo è trovare i coefficienti $a_{11},a_{12},a_{13},a_{21},a_{22},a_{23},a_{31},a_{32} \\$

$ax+by+c=0$ $Ax'+By'+C$

$Ax'+By'+C = 0 \implies \\ A(a_{21}x+a_{22}y+a_{23}) + B(a_{21}x+a_{22}y+a_{23}) + C( a_{31}x+a_{32}y+1) = 0$

Può essere riscritto come:

$\left( \begin{array}{ccc} Ax & Ay & A & Bx & By & B & Cx & Cy \\ \end{array} \right) \left( \begin{array}{ccc} a_{11} \\ a_{12} \\ a_{13} \\ a_{21} \\ a_{22} \\ a_{23} \\ a_{31} \\ a_{32} \\ \end{array} \right) = -C$

$A,B,C$ $(x,y)$ $ax+by+c = 0$

Ulteriori riferimenti " Stima dell'omografia di Elan Dubrovsky " - Vedi parte 2.3.1, stima dell'omografia dalle linee.

— Andrey Rubshtein
fonte