Tecniche di segmentazione delle immagini più comuni ai giorni nostri

Stavo leggendo alcune tecniche di segmentazione delle immagini e mi chiedevo quali fossero gli algoritmi di segmentazione moderni e all'avanguardia.

Quali attuali tecniche di segmentazione che sono un "must-read", cioè attualmente più comunemente utilizzate nella comunità? Con quali tecniche sei venuto in contatto e che hai trovato più efficace e utile (e per quale applicazione)?

Non conosco molte tecniche di segmentazione, ma ho avuto a che fare con strutture che offrono una "scelta" di pezzi di segmentazione che possono essere ulteriormente esaminati per produrre una segmentazione soddisfacente.

Spero che qualcun altro possa scrivere su alcuni diversi metodi di segmentazione all'avanguardia di cui non so molto.

Una piccola introduzione sul perché è bello avere scelte, o livelli, di segmentazione per un'immagine diversa: la segmentazione è un problema mal definito . La verità fondamentale non esiste: i risultati desiderati dipendono sempre dai requisiti e dalle specifiche dell'utente. Una bella citazione:

Anche per un'immagine fissa, potrebbe esserci più di una "migliore" segmentazione perché i criteri che definiscono la qualità di una segmentazione dipendono dall'applicazione. Ciò ci ha motivato a concentrare la nostra ricerca sulle tecniche di partizionamento delle immagini fornendo "pezzi del puzzle" che possono essere utilizzati (...) per generare una segmentazione che soddisfi i requisiti specifici dell'utente

( P. Soille: Connettività vincolata per il partizionamento e la semplificazione di immagini gerarchiche (2008) )

Esistono strutture gerarchiche , decomposizioni gerarchiche di immagini che propongono partizioni di immagini con complessità variabili. Queste strutture sono rappresentate semplicemente come strutture ad albero, in cui ciascun nodo rappresenta una regione nell'immagine. L'idea con le strutture:

• le foglie della struttura sono regioni di una sottile partizione o sovra-segmentazione di un'immagine (ad esempio pixel, zone piatte - regioni connesse della stessa intensità, spartiacque )
• i collegamenti nella struttura rappresentano l' unione o l' unione di regioni (vicine) e formano una regione più complessa e sono costruite in un modo molto probabile per produrre regioni corrispondenti ad oggetti (si spera :))
• la complessità delle regioni aumenta lungo ciascun ramo dai nodi verso la radice dell'albero
• ogni livello dell'albero (anche, ogni taglio) è un partizionamento / segmentazione di un'immagine (più grossolana più vicina alla radice che è)
• la radice dell'albero copre l'intero dominio dell'immagine

La segmentazione consiste nell'esame delle regioni e dei loro sindacati proposti, per determinare le regioni dell'albero o il taglio dell'albero corrispondenti alla precisione richiesta , o alcune proprietà note sull'oggetto di interesse o altre specifiche utente predefinite.

Gli alberi (cioè le decomposizioni gerarchiche delle immagini) con tali proprietà sono:

• $\alpha$ -trees
• $(\omega)$ -trees
• Alberi di partizioni binarie (mirati alla segmentazione e al rilevamento di oggetti )

Oltre ai collegamenti ai documenti già forniti, alcuni articoli attuali più specifici e meno specifici su questo tipo di tecniche di segmentazione:

• Cousty, J., Najman, L .: Algoritmo incrementale per foreste gerarchiche minime a spanning e Saliency of Watershed Cuts (2011)
• Soille, P., Grazzini, J .: Regioni connesse di connettività e transizione (2009)

(più pratico):

• Serna, A., Marcotegui, B .: Ricostruzione controllata da attributo e morfologia matematica adattativa (2013)
• Merciol, F., Lefèvre, S .: Segmentazione rapida di immagini e video basata sulla rappresentazione multiscala alfa-albero (2012)

Come aggiunta alla risposta di Penelope , due famiglie popolari (e alla moda) di algoritmi.

Superpixels

Una famiglia di algoritmi molto popolare chiamata Superpixels è molto di tendenza in questo momento (ci sono anche alcune sessioni di Superpixel nelle conferenze CV). I superpixel sono molto simili alla sovra-segmentazione (come quello che ti dà lo spartiacque), quindi è necessaria una post-elaborazione.

I superpixel possono essere visti come piccole aree di immagini omogenee . La distanza tra i pixel viene valutata come nel filtro bilaterale, ovvero è un mix tra la loro distanza spaziale e la loro somiglianza visiva che va a 0 quando sono vicini e simili e ad un valore più grande altrimenti.
Quindi, i metodi dei superpixel provano vari criteri per formare piccole regioni omogenee rispetto a questa misura. Ce ne sono molti (basati su grafici, modalità di ricerca / clustering ...), quindi immagino sia meglio fare riferimento a questo rapporto tecnico .

(modifica :) Nel caso in cui qualcuno stia cercando un'opera peer-review pubblicata, questo articolo è dello stesso autore e tratta lo stesso materiale del rapporto tecnico: R. Achanta, A. Shaji, K. Smith, A. Lucchi, P. Fua, S. Susstrunk: Superpixel SLIC rispetto ai metodi Superpixel all'avanguardia

Nota come ho scritto la prima versione della risposta che visivamente i risultati sono molto simili a ciò che ti offre la sovra-segmentazione spartiacque. Ciò è confermato dagli autori del rapporto tecnico che include spartiacque nella relativa parte di lavoro. Pertanto, è anche necessario eseguire la stessa post-elaborazione: mentre i superpixel possono essere utili funzionalità da utilizzare al posto dei pixel, devono comunque essere raggruppati per formare regioni di livello superiore se è necessario tenere traccia / rilevare oggetti.

Metodi di segmentazione basati su grafici

Un'altra popolare famiglia di algoritmi viene dall'analisi della relazione dei pixel, ovvero da come i pixel sono vicini nel loro aspetto. Ciò produce una famiglia di metodi di segmentazione basati sulla teoria dei grafi come il taglio normalizzato (J. Shi, J. Malik: Normalized Cuts and Image Segmentation ) .

Ecco l'intuizione per questo approccio: supponiamo che i tuoi pixel siano ora punti (vertici) di un grafico ad alta dimensione.
Nel grafico, due vertici possono essere collegati da un bordo , il cui peso è inversamente proporzionale ad una distanza tra i vertici. Tipicamente, la funzione peso sarà un po 'reciproca di un mix tra la loro distanza spaziale e la loro somiglianza visiva 8 come nel filtraggio bilaterale).
Quindi, dato questo grafico, gli algoritmi di segmentazione possono cercare i migliori cluster di vertici, vale a dire gruppi di vertici che hanno una piccola distanza intra-gruppo e una grande distanza extra-gruppo .

Nell'approccio del taglio normalizzato, viene prestata ulteriore attenzione al fine di evitare qualsiasi distorsione introdotta dalle diverse dimensioni della popolazione dei cluster. Inoltre, l'esplorazione dei grafi può essere evitata calcolando l'SVD della matrice dei pesi, nota anche come matrice di connettività nella teoria dei grafi.

Immagino che una panoramica globale degli algoritmi all'avanguardia per la segmentazione sia necessario cercare gli ultimi sondaggi. Una buona panoramica globale con sfide sono presentate nel libro di Szeliski .