Trovare quadrati nell'immagine

Ho bisogno di trovare i quadrati in un'immagine usando OpenCV (nessun problema con Matlab o qualsiasi altro, in genere quello che mi aspetto sono alcune idee).

Considera l'immagine di prova qui sotto:

Devo trovare accuratamente quei quadrati colorati nell'immagine sopra (non le lunghe strisce bianche).

Cosa ho fatto :

• Ho applicato il metodo comune (fornito con i campioni OpenCV), ovvero trovare contorni in tutti i piani di colore, approssimarlo e verificare il numero di elementi = 4. Funziona fino a un certo punto, vengono rilevati pochi quadrati, specialmente quelli scuri.

• Il passo successivo che ho fatto è stato la previsione . cioè questa disposizione è fissa . Quindi, se alcuni vengono ottenuti, posso prevederne altri. Ha anche funzionato in qualche misura. Ma la precisione era pessima.

Ma penso che la previsione non sia un buon metodo qui e non fornisce sempre risposte accurate come indicato dal primo passo.

Ciò che di cui ho bisogno :

1) Esistono altri metodi migliori per rilevare questi quadrati in modo più accurato? O più metodi?

Un punto importante è che qui il tempo non è un problema . L'algoritmo può essere lento, non importa. Ma l'accuratezza è il criterio principale.

A volte, le immagini possono essere molto più sfocate.

E uno dei maggiori problemi che ho riscontrato è che alcuni quadrati hanno un colore quasi simile a quello dello sfondo (controlla la colonna 3 primo e secondo quadrato).

In cerca di idee, grazie in anticipo

AGGIORNARE :

Di seguito è riportato il risultato più accurato che ho ottenuto:

Ovviamente, l'immagine del risultato viene leggermente ridimensionata.

AGGIORNAMENTO 2:

Ho fornito una soluzione molto migliore nella mia risposta di seguito: https://dsp.stackexchange.com/a/7526/818

Un primo tentativo con Matlab:

im = imread('squares.jpg');
im2 = rgb2gray(im);

se = strel('disk', 15);

for i = 1:16;
    t = 60+i*5; % try out a range of bw thresholds to see what works best
    labelled = bwlabel(im2>t); % label regions in the BW image
    closed = imclose(labelled, se); % close small regions
    cleared = imclearborder(~closed,4); % clear regions touching the border
    subplot(4,4,i); 
    imshow(cleared); 
    title(['T = ' num2str(t)]);
end

Risultati nelle seguenti regioni:

Come puoi vedere, la selezione della soglia che determina il numero più alto di regioni (T = 120) darebbe già 7 posizioni corrette, alcune posizioni unite, un falso positivo e due falsi negativi.

Questo è stato un tentativo abbastanza semplice ma penso che dimostri che l'approccio funziona. Aggiungere alcune cose per spezzare le regioni allungate o farlo separatamente per ogni canale di colore sono solo un paio di cose che potresti fare per migliorare.

Sarebbe anche utile se fornissi altre immagini di prova.

Avevo provato qualcos'altro per migliorare il mio risultato in questione. La soluzione che segue si basa sul presupposto che il primo quadrato (arancione) sia sempre rilevato nel passaggio 1. Ed è pratico a causa del suo alto contrasto di colore rispetto allo sfondo. Anche il risultato che ho mostrato in questione l'ha rilevato correttamente

Passaggio 1: trova il maggior numero possibile di quadrati

Ho diviso l'immagine in piani R, G, B, H, S, V e ho impostato l'immagine di soglia per valori di soglia diversi come multipli di 25. Per ogni immagine, ho trovato dei quadrati in essa e li ho posizionati su una "maschera immagine" . Ho anche trovato l'altezza e la larghezza medie del quadrato.

immagine maschera (rilevati 7/12 quadrati totali):

Passaggio 2: formare una griglia di quadrati

Successivamente ho trovato i centroidi di questi quadrati nell'immagine maschera. Li ha ordinati e ha trovato il centroide del primo quadrato (arancione). Dall'analisi ravvicinata, possiamo vedere che il divario tra due quadrati è un quadrato sia in direzione orizzontale che verticale. Quindi, in questo modo, ho creato una griglia di quadrati come sotto e l'ho chiamato ideal_squares (è solo un nome, non significa che questo sia l'output di cui ho bisogno):

quadrati_ideale:

Passaggio 3: rimappa l'immagine ideal_image

Ora abbiamo i centroidi ideal_squares e i centroidi originali. Ho scoperto le corrispondenze corrette per ciascun centroide originale da ideal_centroids (prendendo la distanza euclidea tra di loro). Quindi ho usato Scipy interpolate.griddata per l'interpolazione e rimappato ideal_image secondo i valori del centroide (è quasi lo stesso della deformazione eseguita in queste domande e risposte: Come rimuovere i difetti di convessità in sudoku square e trasformazione delle immagini in OpenCV ). Quindi di seguito è l'output che ho ottenuto:

Produzione :

Passaggio 4: OPPURE operare sopra l'output con l'immagine della maschera dal primo passaggio

Ora puoi vedere tutti i quadrati rilevati, ma con un problema menzionato di seguito:

Problema:

Guarda l'output del passaggio 3, ovvero l'immagine rimappata della griglia quadrata. Tranne due quadrati centrali, tutti gli altri quadrati vengono ritagliati. È un problema associato a questo rimappatura. Non sono sicuro di dove sia il problema, con scipy.interpolate.griddata () o cv2.remap (). Pensavo che l'intera immagine sarebbe stata deformata, ma non lo è. Si deforma solo l'immagine all'interno dei centroidi che abbiamo dato. Se posso correggerlo, l'output sarà OK.

Quindi, se qualcuno conosce una buona idea per questo, molto gradito !!!

Nota: questo metodo sarà molto lento.

Genera una maschera che assomiglia ai contorni di un oggetto ideale. Simile a questo:

quindi fai scorrere (posizione, scala, rotazione) la maschera sull'immagine e abbinala al contorno dell'immagine reale (forse un po 'sfocata per ottenere una risposta più morbida) per calcolare quanto sono simili, la (posizione, scala, rotazione) con la massima risposta di somiglianza dovrebbe essere la (posizione, scala, rotazione) dell'oggetto reale.

Al metodo non dispiace che i quadrati si fondano con lo sfondo o anche con occlusioni parziali dell'oggetto, poiché considera l'intero oggetto.

Ho usato personalmente questo metodo con successo per rintracciare un muso e un baffo del mouse, ma avevo alcune presunzioni come se fosse vicino all'ultima posizione nota ecc. Ma penso che puoi ridurre lo spazio di ricerca applicando alcune ipotesi come: dimensioni possibili dell'oggetto nella telecamera, quanto lontano dal centro può essere o rotazione <10 gradi ecc.

Passaggio 1: qualunque immagine binaria finale che si sta ottenendo dall'analisi in piano B, G, R, H, S, V, in quell'immagine, esegua un algoritmo di conteggio BLOB.

Passaggio 2: trovare il blob più grande in base all'area o alla lunghezza del contorno. Dal momento che i tuoi blob saranno per lo più tipi di parallelogrammi, quindi area o contorno, ognuno lo farà.

Passaggio 3: con il BLOB più grande (poiché il BLOB più grande è il BLOB migliore che assomiglia ai quadrati del mondo reale) prova a trovare l'orientamento del BLOB ... questo puoi ottenere inserendo un rettangolo che si adatta meglio O puoi ottenere i punti d'angolo ... ottieni la pendenza delle linee che le uniscono (sia in senso orizzontale che verticale).

Passaggio 4: una volta ottenute le due pendenze, traccia due linee che attraversano l'asse del blob. per asse puoi fare la media dei punti d'angolo o puoi usare il centroide (centro di massa) ... Vorrei andare con la media dei punti d'angolo ...

Passaggio 5: poiché in ciascuna direzione orizzontale e verticale, la spaziatura è uguale (idealmente anche la spaziatura orizzontale e verticale sono uguali in quanto proviene dalla tua immagine quadrata ideale ma non lo supponiamo ..) è sufficiente individuare i possibili centroidi dell'altro parallelogrammi

LINEA INFERIORE: se un quadrato viene rilevato perfettamente, puoi creare l'intera griglia. Mantenere semplicemente i centri di marcatura a un intervallo di 2H (H = larghezza orizzontale del blob più grande) lungo l'asse orizzontale del blob più grande e ad un intervallo di 2V (V = altezza verticale del blob più grande) verticalmente lungo l'asse verticale del blob.

Alcune foto da supportare

questa disposizione è fissa

Non so davvero che tipo di previsione hai fatto prima, ma hai provato a concentrarti sulle lunghe strisce bianche come radice. Quindi (se 3 colonne di quadrati sono uguali), puoi rilevare l'altezza di un quadrato (distanza tra le due strisce) e puoi rilevare l'area massima e minima (altezza e larghezza) nell'immagine.

Quindi, prova a rilevare il colore più comune all'interno di tutto il quadrato e impostalo su un'area "non quadrata". Il resto dovrebbe essere i quadrati che stai cercando.

Suggerirei di utilizzare la trasformazione di Hough, che è un algoritmo molto robusto per trovare forme parametriche semplici, ad esempio linee, cerchi, ecc. Il rilevamento delle linee sarebbe il migliore nel tuo caso. Potresti trovare almeno i lati delle lunghe strisce bianche; quindi, con qualsiasi algoritmo di estrazione di angoli (Harris o forse anche SIFT o SURF) potresti trovare angoli lungo quelle linee, anche usando il fatto che i quadrati sono approssimativamente equidistanti.

Ho provato questo problema usando opencv, python. L'approccio prevede il mascheramento dell'immagine in base ai colori, seguito dalla ricerca di contorni adeguati.

Codice: https://github.com/rbhambriiit/computer_vision/blob/master/find_color_box

[Casella mancata 1, ma dovrebbe venire sintonizzando la funzione di mascheramento]