Salve CV / Pattern Recognition Community,

Ho un problema serio riguardo alla segmentazione di un'immagine. Lo scenario è un'atmosfera all'interno di una fornace che mi fa impazzire la testa. E ho bisogno di rilevare i contorni degli oggetti di diversi materiali (vetro, ceramica, Al, Ir, ..) in un breve periodo di tempo (<10 secondi) e non solo per un caso speciale. Ho anche bisogno del contorno in una fila sequenziale di pixel per il codice. Pertanto è necessario anche un codice catena o il cosiddetto seguito di bordo / contorno, quindi i fori aperti non sono buoni. Sullo sfondo ci sono rumori non lineari, approssimativamente di polvere, particelle o qualcosa del genere, che appaiono di volta in volta.

Suggerimenti Matlab o OpenCV sono benvenuti.

Per renderlo più chiaro, ho pubblicato un'altra immagine del mio obiettivo e un oggetto semitrasparente, che deve anche essere rilevato. Ulteriori esempi di cui è necessario essere consapevoli.

Come puoi vedere nell'immagine n. 1, ci sono particelle nella parte destra dell'immagine e vicino al contorno esterno della stella, che è l'oggetto. Anche il contrasto complessivo non è molto buono. L'oggetto stesso si trova su un sottosuolo, che non è rilevante per il rilevamento del contorno. L'immagine n. 2 mostra un oggetto semitrasparente, che è anche possibile.

Voglio trovare il contorno / perimetro di quell'oggetto, come nella schermata successiva (linea rossa). I due rettangoli (gialli) indicano il punto iniziale (a sinistra) e il punto finale (a destra). La linea blu è ignorabile.

All'inizio ho pensato di poter risolvere il problema di quell'atmosfera sporca con solo filtri. Ma dopo un'onorevole quantità di tempo investito, mi sono appena reso conto che devo eliminare o ridurre significativamente i rumori per aumentare il contrasto tra primo piano e sfondo. Avevo provato molti metodi, come l'equalizzazione dell'istogramma, l'equalizzazione adattativa Otsu, i filtri lineari (ad es. Gauss), i filtri non lineari (mediana, diffusione), i contorni attivi, i mezzi k, i fuzzy-c e anche i Canny per puro Edge Detection in combinazione con operatori morfologici.

• Canny: le particelle e l'atmosfera stanno causando buchi, ma ho bisogno di un contorno completo dell'oggetto. Ancora con la chiusura, la dilatazione degli operatori morfologici non è abbastanza bene. Canny ha ancora i migliori risultati di tutti i metodi che ho studiato a causa dell'isteresi.
• Contorni attivi: funzionano anche su bordi / gradienti, agiscono completamente in modo folle dopo l'inizializzazione all'interno dell'oggetto, che forse è causata dalla mappa dei bordi risultante nell'oggetto 'aperto'. Per quanto ne so, il contorno deve essere chiuso. Provato con diversi derivati ​​(GVF / VFC / Classic Snake).
• Mezzi k: i risultati includono l'atmosfera della fornace, a causa dello sfondo nebbioso. Lo stesso per fuzzy-c-significa. Ho scelto due cluster, a causa della separazione dell'oggetto dallo sfondo. Più cluster portano a risultati più deboli.
• Istogramma / Otsu: a causa dell'intensità grigia molto vicina (imho!), Sta fondendo l'oggetto con lo sfondo. Provato con metodi locali e globali.
• Filtri: Soprattutto GLPF o altri LPF stanno imbrattando i bordi, il che non è così buono e non riduce nemmeno l'atmosfera nebbiosa.
• I filtri non lineari preservano i bordi. La maggior parte impiega troppo tempo per calcolare le immagini di grandi dimensioni. Ho preso un filtro bilaterale veloce per ora. I risultati vedi sotto.

Pertanto, non un singolo metodo è abbastanza buono per le fasi di post-elaborazione, poiché i risultati ottenuti del segmento di oggetti sono in scarsa concorrenza con un algoritmo esistente. L'algoritmo esistente è molto locale e quindi funziona per questo scenario molto speciale.

Quindi ti sto chiedendo se ho perso qualcosa completamente ... Non ho più idea di come elaborare e come dovrei ottenere buoni risultati di contorno, senza buchi o buchi .. È possibile senza apportare molte modifiche al CCD e ambiente fisico? Grazie in anticipo!

Last Approach finora (dopo una lunga notte di esperimenti con MO):

• Filtro bilaterale (preservando i bordi, ma levigando le aree omogenee)
• Canny (Sigma = 2, Soglia = [0,04 0,08])
• Morfologica Operations (MO): bwareopen, closing, remove&bridge
• bwlabelper selezionare solo il perimetro del contorno, che rimuove i rumori indesiderati. non sono ancora presenti schermate aggiornate, ma funziona per la stella. il vetro ha un contorno interno che è collegato al contorno esterno, che può anche essere visto nella schermata qui sotto.

Quindi temo di aver bisogno di un algoritmo speciale per l'attraversamento del contorno esterno. Sarà una ricerca del vicinato in senso orario / antiorario. Questo passaggio in senso orario / antiorario può cambiare, se c'è un punto d'angolo. se c'è un divario, aumentare il raggio e guardare di nuovo. se ci sono due o più possibili punti seguenti, prendi quello che ha ottenuto la stessa direzione del precedente. Pensi che il profilo che segue l'algoritmo abbia un senso?

Puoi provare quanto segue:

• Segmentazione efficiente delle immagini basata su grafici: http://www.cs.brown.edu/~pff/segment/ (codice disponibile)

• Segmentazione basata su GraphCut: http://www.csd.uwo.ca/~olga/OldCode.html (codice disponibile)

• Denoise prima l'immagine usando metodi sparsi: http://spams-devel.gforge.inria.fr/ (codice disponibile)

Penso che tu abbia rinunciato troppo presto alle tecniche di soglia. Dai un'occhiata al tuo istogramma, è chiaramente tri-modale: (ho rimosso manualmente le colonne bianche a destra dell'immagine, presumo che non facciano parte dell'immagine, per favore prendi questa immagine prima di eseguire il mio codice)

Dai un'occhiata a tutti i valori nel primo gruppo:

Per trovare le modalità nell'istogramma trimodale, è possibile usare il clustering dei mezzi K con K=3intensità. Il seguente codice Matlab si trova th1=67sul tuo codice. L'idea è di supporre di avere i 3 set e calcolare il centroide ponderato su ciascuno di essi. Quindi, ogni livello di intensità viene assegnato al proprio cluster. Ti fermi quando i centroidi ponderati cessano di muoversi. Ecco il risultato della ricerca di due soglie sulla tua immagine, mostrate nell'istogramma.

function [th1,th2]=SegmentHistTo3()
    im = imread('http://i.stack.imgur.com/U2sc5.png');
    h = imhist(im(:,:,1)); %# Calculate histogram

    th1new = round(256/3); %# Initial thresholds
    th2new = round(256*2/3);
    th1 = 0;
    th2 = 0;

    while (th1~=th1new) || (th2~=th2new) %# While the centroids keep on moving
        th1 = th1new;
        th2 = th2new;

        wa1 = WeightedAverage(h,1,th1);  %# Calculate 3 weighted averages
        wa2 = WeightedAverage(h,th1+1,th2);
        wa3 = WeightedAverage(h,th2,numel(h));

        th1new = round( (wa1+wa2)/2 );  %# The thresholds are middle points between the averages
        th2new = round( (wa2+wa3)/2 );
    end

    figure; hist( double( reshape(im(:,:,1),1,[]) ),256);
    hold on;
    plot( [th1 th1],[0 max(h)],'r','LineWidth',2);
    plot( [th2 th2],[0 max(h)],'r','LineWidth',2);

    figure;imshow( im(:,:,1)<th1);
end

function wa = WeightedAverage(region,th1,th2)    
    regionNonEmpty(th1:th2) = region(th1:th2);
    wa = sum( regionNonEmpty .* (1:numel(regionNonEmpty))) / sum(regionNonEmpty);    
end

Risolvere il problema in seguito è un gioco da ragazzi, basta fare alcune semplici operazioni morfologiche, come l'apertura.

Come suggerito sopra, la soglia può essere molto efficace su questa immagine, che è essenzialmente binaria, tranne per il fatto che una soglia costante non funzionerà a causa dell'illuminazione irregolare. Hai bisogno di una soglia adattativa.

Il mio consiglio sarebbe di fare la ricostruzione di sfondo con un modello semplice (possibilmente planare [3 DOF] o quadradico [6 DOF]), campionando un piccolo numero di valori nelle regioni luminose. La cosa migliore è usare piccoli ROI per eliminare il rumore in media. Quindi correggere l'ombreggiatura sottraendo (o dividendo) i valori di sfondo.

Se l'interazione umana non è un'opzione, è possibile automatizzare la ricerca di aree di sfondo prima Otsu direttamente e considerando ROI uniformi (bassa varianza) ben al di sotto della soglia. Dopo una prima ricostruzione di sfondo, probabilmente puoi migliorare applicando questo processo all'immagine con correzione piatta.

L'intero processo può essere implementato per funzionare ben al di sotto di un secondo.

Penso che il modo migliore sia usare i contorni attivi. Se non sei a conoscenza di quali contorni attivi dai un'occhiata a questo video su YouTube http://www.youtube.com/watch?v=ijNe7f3QVdA

Fondamentalmente, devi dare una segmentazione di inizializzazione e questo migliorerà la forma. Il mio suggerimento è quello di uno dei metodi discussi in questo post e utilizzare contorni attivi come secondo passo, ad es. come passo di miglioramento.

Ecco un'implementazione di contorni attivi che è possibile utilizzare http://www.mathworks.com/matlabcentral/fileexchange/19567

Sai chiaramente di cosa ti occupi, ma non hai menzionato l'uso della soglia, in particolare hai provato ad applicare una soglia globale utilizzando Otsu per calcolare il livello giusto, quindi trovare i contorni e selezionare il più grande?

[Modifica per chiarire]

La soglia globale ovviamente non funzionerà a causa del graident visibile sull'immagine.

Ho avuto un gioco veloce con questo e ho scoperto che se rompi l'immagine in 6 pezzi (2 file di 3 colonne di uguali dimensioni), quindi esegui il limite usando Otsu su ognuna e poi rimontaggi, fa un bel lavoro divino nel ripulire il Immagine.

Ci sono ancora alcuni piccoli artefatti nella parte in alto a destra della stella.

Mi viene in mente che, dal momento che l'oggetto ha confini di linea retta, potresti voler considerare una trasformazione di Hough per estrarre questi bordi, intersecarli per localizzare i vertici e utilizzare il risultato come contorno dell'oggetto.

I contorni sono sempre linee rette o curve conosciute?

In tal caso, invece di cercare di correggere ogni pixel lungo il bordo, utilizzerei le trasformazioni di Hough per ottenere le equazioni delle linee e quindi ricreare i contorni dalle linee e dalle sezioni