Preelaborazione per migliorare il tracciamento degli angoli di Harris tra i fotogrammi video?


8

Nella nostra applicazione di stabilizzazione dell'immagine video in scala di grigi per veicoli aerei senza equipaggio, abbiamo difficoltà a trovare gli angoli "buoni" di Harris nel frame N + 1 selezionati dal frame N. La fonte della difficoltà sembra essere una radicale variazione del contrasto dei pixel non uniforme tra i frame. Forse essere trasportati dall'aria e usare un frame rate lento (~ 3 fps) è la causa principale dello spostamento del contrasto dei pixel.

Abbiamo provato varie tecniche di equalizzazione dell'istogramma per cercare di appianare i contrasti di pixel tra i fotogrammi al fine di migliorare il tracciamento di "buoni" angoli di Harris nel fotogramma N + 1. I risultati continuano ad essere scarsi.

Qualcuno ha qualche suggerimento su come migliorare il tracciamento degli angoli di Harris tra i fotogrammi video in un ambiente aereo diurno con frequenza dei fotogrammi lenta? Grazie in anticipo.

Modifica: 30 gennaio 2012, aggiunte immagini di test case (non dimensioni effettive del frame)

Aggiornamento di riepilogo: 8 febbraio 2012. Le persone suggeriscono che gli angoli di Harris non sono così utili nel tracciamento delle funzionalità video in scala di grigi. Le risposte di seguito suggeriscono e forniscono collegamenti a varie alternative. Stiamo valutando queste alternative e riferirò i risultati quando arriveremo a quel punto. Grazie a tutti per i vostri commenti e risposte.

Ecco il precedente telaio N con 35 "buoni" 5x5 angoli harris selezionati. La cornice originale è di pixel grezzi da 8 bpp.

frame precedente N

Ecco un eccellente angolo Harris 5x5 situato nella fila 59 col 266:

precedente 5x5 a r59 c266

L'attuale frame N + 1 con alcuni angoli Harris 5x5 tracciati, solo uno dei quali è valido:

frame corrente N + 1

L'angolo Harris 5x5 del fotogramma precedente che appare nel fotogramma N + 1 in r47 c145:

precedente 5x5 alla corrente 5x5 r47 c145

Notare come le intensità dei pixel nel 5x5 selezionato siano state tutte modificate in modo non uniforme dal fotogramma precedente al fotogramma corrente. Le tecniche di equalizzazione del contrasto tra i frame non aiutano a rilevare i pixel 5x5 selezionati nel frame precedente nel frame corrente. Tutti i suggerimenti sono benvenuti.


3
Carica alcune immagini. Altrimenti otterrai suggerimenti casuali.
Nav

Andrà bene. Scusa, avrei dovuto pensarci.
David Pointer,

@nav Done! Grazie per il tuo eccellente suggerimento.
David Pointer,

Risposte:


9

Puoi provare un rilevatore di funzioni diverso? VELOCE potrebbe essere erm, più veloce e una frequenza dei fotogrammi più alta renderà più facile la corrispondenza (supponendo che le tue caratteristiche si muovano molto tra i fotogrammi)


Sembra che tu stia provando a utilizzare la regione di gradazione di grigio attorno al punto di identificazione identificato per abbinare da cornice a cornice. Questo è probabile che sia poveri, specialmente se c'è un sacco di movimento tra i fotogrammi.

È possibile ottenere prestazioni migliori utilizzando quello che viene spesso chiamato un "descrittore" della regione attorno al punto di funzionalità su cui abbinare.

Alcuni possibili descrittori sono utilizzati negli algoritmi SURF e SIFT - hanno anche tecniche per identificare le regioni da tracciare, ma hai ignorato il requisito per questo. Un descrittore più semplice progettato per l'uso nella corrispondenza stereo-vision è la trasformazione del censimento sebbene ciò potrebbe non funzionare altrettanto bene per la corrispondenza da frame a frame, per lo stesso motivo del metodo corrente (che è anche ampiamente distribuito in stereo-vision)

Il libro da leggere al riguardo è Geometria a vista multipla in Computer Vision .


Grazie per il tuo suggerimento. Il fattore limitante per i fps è in realtà la fotocamera del sistema: dimensioni dei fotogrammi molto grandi. Potremmo effettivamente arrivare a 12 fps con queste dimensioni di frame con l'attuale set di algoritmi con la tecnologia che stiamo utilizzando.
David Pointer,

Ohhhh, aspetta. Stai dicendo che un frame rate della fotocamera più elevato evita del tutto questo problema di spostamento di intensità / contrasto poiché c'è meno tempo disponibile perché le intensità cambino effettivamente sugli oggetti osservati tra i frame? La cellula stessa può muoversi molto in 33 millisecondi.
David Pointer,

3

In alternativa a SIFT / SURF / Altro puoi anche usare la correlazione di fase FFT, se i frame sono trasformati principalmente da traduzioni (rotazione / prospettiva è piccola). È inoltre possibile applicare la correlazione di fase a regioni dell'immagine in modo iterativo per una migliore precisione.

http://en.wikipedia.org/wiki/Phase_correlation


1

Se stai cercando di allineare le due immagini, dovresti utilizzare un rilevatore di funzionalità locale migliore. SIFT è probabilmente il più popolare / di successo da usare.


1

Penso che sia meglio usare Shi e Tomasi, puoi usarli con la stessa funzione buona traccia, ha dato risultati migliori rispetto agli angoli di harris

Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.