Qual è il metodo all'avanguardia per affrontare i problemi di illuminazione nella sottrazione di sfondo?

Ho avuto difficoltà a trovare un approccio ben citato a questo. In sostanza, sto sperimentando diversi algoritmi di sottrazione di sfondo, ma nessuno sembra funzionare bene quando ci sono cambiamenti di illuminazione significativi (diciamo, da una finestra della scena che ottiene un abbagliamento significativo in momenti specifici).

La domanda è semplice (relativamente): quali sono i metodi all'avanguardia per la sottrazione di sfondo con improvvisi cambiamenti di illuminazione? Il mio scenario sono le telecamere di sorveglianza.

L'approccio standard consiste nell'utilizzare una miscela di gaussiani per modellare le varie leggi che comandano l'intensità di un pixel. In questo approccio, a un pixel possono essere assegnate diverse leggi normali (con media e varianza diverse), ognuna delle quali modellerà il suo valore in condizioni diverse. Certo, solo 1 gaussiano deve essere attivo alla volta.

Mentre il numero massimo di gaussiani nella miscela è un parametro (fisso), i parametri di ciascun gaussiano vengono appresi online. Puoi trovare un'implementazione di esempio nella libreria OpenCV .

Qualche anno fa, qualcuno (mi dispiace, non riesco più a trovare il nome) ha proposto un approccio alternativo interessante: usare le variazioni dell'orientamento del gradiente dell'immagine anziché le variazioni dell'intensità della luce. L'orientamento del gradiente ha il vantaggio di essere invariante dal contrasto, rendendolo più robusto ai cambiamenti di illuminazione. Intuitivamente, funziona perché l'orientamento del gradiente è legato alle forme nell'immagine, non al loro colore o luminosità.

Questo non è un approccio "citato" o lo stato dell'arte per la sottrazione di sfondo in ogni caso. Tuttavia, la tua seconda frase diceva che stavi sperimentando approcci diversi , quindi penso che ciò che devo dire avrà ancora un certo valore.

Generale sull'approccio:

Quello che sto proponendo è una rappresentazione di immagine invariante al contrasto , chiamata Tree of Shapes , o Level Line Tree (c'erano più nomi, sfortunatamente, non si sono ancora stabiliti su un nome comunemente accettato).

L' idea generale in quella proposta applicazione è quella di costruire una rappresentazione invariante-contrasto di un paio di immagini$I_x$ e $I_y$e quindi cercare le differenze. Il vantaggio è che puoi ottenere , come output, parti presenti in$I_y$ ma non dentro $I_x$(o viceversa) al contrario dei più semplici confronti di immagini , in cui il risultato sono tutte le differenze, ovvero tutto ciò che è presente in una delle immagini e non nell'altra .

Modo possibile da utilizzare con le telecamere di sicurezza:

Se la tua applicazione è una videocamera di sicurezza, allora immagino che tu possa ottenere alcune immagini di verità in buone condizioni (illuminazione uniforme, basse occlusioni). Quindi, potresti costruire un albero di forme dalla tua immagine di verità di terra e quindi usarlo per rilevare nuovi oggetti presenti nelle immagini correnti . Gli alberi dovrebbero essere simili, perché non si basano su livelli di grigio globali di pixel, ma piuttosto sul "contrasto locale": la domanda principale che guida il processo di costruzione dell'albero è è più luminosa / più scura dell'ambiente circostante , e non quanto luminosa / scura è esso .

Letteratura:

Rilevante per la tua particolare applicazione sarebbero le ultime due pagine di questo documento:

• P. Monasse, F. Guichard: calcolo rapido della rappresentazione dell'immagine a contrasto invariante (2000)

  (documento pertinente con esempio di applicazione)

Puoi trovare alcuni riferimenti rilevanti nella mia risposta qui , ma ora mi sembra che la breve panoramica che ho fatto per quella risposta sia lungi dall'essere completa.

Gli autori di quel particolare articolo hanno anche pubblicato un opuscolo in serie LNM su quel particolare albero:

• V. Caselles, P. Monasse: descrizione geometrica delle immagini come mappe topografiche (2010)

  (opuscolo con dettagli dettagliati)

E infine, questi approcci erano più teorici che pratici fino a pochi giorni fa, perché il tempo di costruzione nel caso peggiore era quadratico nel numero di pixel dell'immagine. Proprio ieri è stato presentato un algoritmo quasi lineare che rende finalmente l'albero delle forme utilizzabile in varie applicazioni:

• T. Géraud, E. Carlinet, S. Crozet, L. Najman: un algoritmo quasi lineare per calcolare l'albero delle forme di immagini nD

  (implementazione veloce)