Elaborazione delle immagini prima del rilevamento delle funzioni

Ho implementato un rilevatore di funzionalità basato sugli angoli di Harris . Funziona bene la maggior parte delle volte, ma ci sono casi in cui si comporta male. Devo farlo funzionare su molte immagini diverse senza configurarlo individualmente.

Il problema è con il valore di soglia del rivelatore. Se impostato su un valore troppo basso, il rilevatore si attiva troppe volte con conseguente numero enorme di funzioni. Se impostato troppo alto, ci sono troppo meno funzionalità.

Ho parzialmente risolto questo problema con ANMS (soppressione adattiva non massima) per ridurre il numero di funzioni prima di assegnare loro un vettore descrittore.

Tuttavia, immagini come questa sono il problema:

Hanno un basso contrasto e non posso "permettermi" di impostare una soglia troppo bassa per tutte le immagini. Farebbe funzionare il rivelatore su queste immagini, ma altre immagini conterrebbero centinaia di migliaia di funzionalità, che saranno lente da filtrare con ANMS e questo danneggerebbe le prestazioni complessive.

Stavo pensando di regolare l'immagine prima del rilevamento delle funzionalità. Forse l'equalizzazione dell'istogramma farebbe il lavoro. Potrebbe trattarsi di un'operazione valida poiché il cambiamento globale del contrasto non ha alcun effetto sui descrittori di funzioni (sono invarianti ai cambiamenti di luminosità e contrasto).

Forse lavorare con una soglia adattiva o un po 'euristico funzionerebbe meglio.

Altri suggerimenti?

Una possibilità sarebbe quella di fare un semplice rilevamento dei bordi (come Laplace) e usare l'intensità media del risultato come base per la soglia degli angoli di Harris. Quando si ha un basso contrasto, si ottengono meno spigoli e con intensità inferiore, con un contrasto elevato si ottengono più spigoli e con intensità più elevate.

Non sei l'unico a lottare con questo problema. Se hai accesso a database cartacei, questo potrebbe essere interessante:

• Algoritmo di adattamento dell'angolo harris auto-adattivo basato sull'elaborazione dei blocchi

Potrebbe valere la pena cercare di più il rilevamento dell'angolo harris (auto) adattivo.

Devi davvero usare gli angoli di Harris? Ci sono molte funzionalità sviluppate dopo gli angoli di Harris, con proprietà migliori. Una buona panoramica è disponibile in questo articolo:

• AL Dahl, H. Aanæs e KS Pedersen. Trovare la migliore combinazione rivelatore-descrittore di caratteristiche

Sulla base di questo articolo e della mia esperienza personale, suggerirei di passare a MSER (Maximly Stable Extermal Regions) , o addirittura di combinarli con DoG (Difference of Gaussians) - le funzionalità presentate per la prima volta come parte della pipeline SIFT.

Se il problema è davvero a basso contrasto , le funzionalità MSER dovrebbero davvero renderti felice: sono (abbastanza) invarianti rispetto ai cambiamenti nell'illuminazione. In breve, sono regioni collegate dell'immagine stabili attraverso una serie di diverse binarizzazioni di soglia.

Il processo di estrazione delle caratteristiche è indipendente dal calcolo dei descrittori, quindi non dovrebbe essere troppo difficile integrare nuovi modi di estrazione delle caratteristiche nel tuo processo.

Inoltre, ho sentito parlare (ma in realtà non ho mai lavorato) degli angoli Multiscale Harris come estensione degli angoli Harris. Non ne so molto su di loro e personalmente non posso raccomandare alcun materiale di lettura su questo argomento, quindi lascio la ricerca agli articoli e la scelta dei materiali più interessanti per te.

Inoltre, potrei suggerire che l'immagine che hai pubblicato potrebbe avere altri problemi oltre al basso contrasto . Nella mia esperienza personale, la vegetazione come cespugli o forse il campo che hai, così come le belle nuvole frizzanti tendono a produrre "caratteristiche generiche" - caratteristiche che tendono ad avere descrittori ugualmente simili (o diversi) come molte altre caratteristiche.

In pratica, ciò significa che quando si esegue la corrispondenza delle caratteristiche su due immagini da una prospettiva diversa, le caratteristiche estratte da questo tipo di superfici tendevano ad essere erroneamente abbinate. Ho fatto un tesi di laurea che tratta in gran parte dell'estrazione di funzionalità da utilizzare nella corrispondenza di funzionalità ulteriormente utilizzata per calcolare una trasformazione dell'omografia tra due immagini quando ho riscontrato questo problema. Non ho trovato altri articoli che descrivono questo problema al momento, ma la mia tesi potrebbe essere utile per il tuo approccio generale.

Infine, come hai impostato, le soglie e le tecniche che funzionano perfettamente sulla maggior parte delle immagini si estendono a piccole funzionalità in questo tipo di immagini, a causa delle sue aree per lo più omogenee. Questo tipo di immagini presenta problemi nella corrispondenza delle caratteristiche (che può essere estesa alla cucitura di immagini), nel recupero di immagini basate sul contenuto, e presumo il tracciamento e applicazioni simili. Nessun metodo attualmente funziona abbastanza bene su di essi.

I metodi che funzionano bene su questo tipo di immagini, nonché i casi tipici, sono attualmente esplorati e studiati, come un approccio su cui ho iniziato a lavorare brevemente descritto in questa risposta .