Rilevamento del sentiero nelle immagini forestali

Qualcuno è a conoscenza di ricerche / documenti / software per identificare una pista (come una linea o curva punto-punto) in un'immagine di una scena di foresta (dal punto di vista della telecamera in piedi da qualche parte lungo la pista)?

Sto cercando di trovare un algoritmo in grado di acquisire un'immagine come:

e produce una maschera, identificando una probabile "scia", come:

Come puoi vedere, l'immagine originale è un po 'sfocata, il che è propositivo. La fonte dell'immagine non può garantire una messa a fuoco perfetta, quindi devo essere in grado di gestire una quantità ragionevole di rumore e sfocatura.

Il mio primo pensiero è stato quello di applicare una sfocatura gaussiana e segmentare l'immagine in blocchi, confrontando i blocchi adiacenti alla ricerca di differenze di colore nitide (indicando un "bordo" della scia). Tuttavia, ho realizzato rapidamente che le ombre e altri cambiamenti nell'illuminazione la gettano facilmente.

Stavo pensando di estrarre le funzionalità di SURF, ma ho avuto successo con SURF / SIFT solo quando l'immagine è perfettamente chiara e con un'illuminazione coerente.

Ho anche provato a ridimensionare le immagini e le maschere in dimensioni molto più piccole (ad es. 100x75), convertendole in vettori 1xN e usandole per addestrare una rete neurale basata su FANN (dove l'immagine è l'input e la maschera è la desiderata produzione). Anche a dimensioni così ridotte, con 1 strato nascosto con il 75% delle dimensioni del vettore di input, ci sono voluti 6 ore per allenarsi e non è stato ancora possibile prevedere alcuna maschera nel set di test.

Qualcuno può suggerire altri metodi o documenti sull'argomento?

Potrebbe non essere sufficiente da solo, ma poiché uno dei problemi ha a che fare con le variazioni di illuminazione, può essere utile una fase di pre-elaborazione della rimozione dell'ombra. La tecnica a cui sto pensando è descritta nel seguente documento:

"Sulla rimozione delle ombre dalle immagini", GD Finlayson, SD Hordley, C. Lu e MS Drew, IEEE Pattern Analysis and Machine Intelligence (PAMI), Vol.28, No.1, Jan, 2006, pp.59- 68. http://www.cs.sfu.ca/~mark/ftp/Pami06/pami06.pdf

La prima parte del processo produce un'immagine in scala di grigi invariante di illuminazione, che è probabilmente ciò che si desidera in questo caso. Ecco un esempio dell'esempio che forniscono nel documento:

_{(fonte: datageist.com )}

In effetti, fare un passo avanti nel processo per produrre un'immagine di "cromaticità" può essere ciò di cui hai bisogno per distinguere in modo pulito tra le foglie vive e quelle morte. Ancora una volta, un esempio dall'articolo:

_{(fonte: datageist.com )}

Il problema, tuttavia, è che la fotocamera deve prima essere calibrata. Supponendo che sia possibile, una combinazione delle rappresentazioni che descrivono probabilmente renderà più efficaci gli altri metodi che stai usando.

Non credo di avere abbastanza informazioni nella dell'immagine sorgente per produrre l'immagine della maschera. Potresti iniziare segmentando il colore, ovvero il verde non è scia, il grigio / marrone lo è. Tuttavia, ci sono regioni grigie / marroni sui "bordi del sentiero" che non sono rappresentate nella maschera. (Vedi il quadrante in basso a sinistra dell'immagine sorgente.)

La maschera fornita implica vincoli strutturali non evidenti nell'immagine di origine: ad esempio, forse i percorsi sono di larghezza fissa, quindi è possibile utilizzare tali informazioni per vincolare la maschera preliminare restituita dal riconoscimento del modello.

Continuando il tema della struttura: i sentieri si fondono con gli altri? I percorsi sono delineati con determinate caratteristiche del suolo / ghiaia? Come essere umano (che è ragionevolmente bravo nel riconoscimento di schemi!), Sono sfidato dalle caratteristiche mostrate nel quadrante in basso a sinistra: vedo regioni grigio / marrone che non posso scartare come "scia". Forse potrei farlo in modo conclusivo se avessi più informazioni: una mappa e una posizione poco conosciuta, esperienza personale su questa pista o forse una sequenza di immagini che portano a questo punto - forse questa visione non è così ambigua se il riconoscitore "sa "cosa ha portato a questa scena.

Una raccolta di immagini è l'approccio più interessante secondo me. Continuando questa linea di pensiero: un'immagine potrebbe non fornire dati sufficienti, ma una vista panoramica potrebbe chiarire la questione.

Non esiste un singolo algoritmo che rileverà magicamente le tracce in un'immagine casuale. Dovrai implementare una routine basata sull'apprendimento automatico e "addestrarla" per rilevare i percorsi. Senza entrare in troppi dettagli, ecco uno schema generale di cosa faresti in un approccio di apprendimento supervisionato.

1. Avrai bisogno di una serie di "esempi di allenamento", con cui intendo diverse immagini di percorsi in diversi ambienti, in cui tu (il supervisore) hai etichettato ciò che conta come "percorso" e qual è la "foresta" di sfondo. Le immagini vengono suddivise in sezioni più piccole (in genere 8x8) e trasformate in uno "spazio caratteristiche" prendendo il DCT (trasformata discreta del coseno) dei blocchi. Il DCT di ciascun blocco in questo caso fornisce un "vettore di funzionalità" a 64 punti.

2. Definendo uno spazio delle caratteristiche , un insieme di funzioni (un sottoinsieme del vettore delle caratteristiche di 64 punti) e uno spazio delle classi con le classi e , si calcola dai tuoi set di allenamento:$\mathcal{X}$$\mathbf{x}$$\mathcal{Y}$$y_1=trail$$y_2=forest$

   • le distribuzioni condizionate della classe
     • $\mathcal{P}_\mathcal{X|Y}(\mathbf{x}|trail)$ , la densità condizionale per le caratteristiche quando la classe è . $trail$
     • $\mathcal{P}_\mathcal{X|Y}(\mathbf{x}|forest)$ , la densità condizionale per le caratteristiche quando la classe è . $forest$
   • le probabilità di classe o le precedenti
     • trai$\mathcal{P}_\mathcal{Y}(trail)$ , probabilità di trovare un in un blocco$trail$
     • fores$\mathcal{P}_\mathcal{Y}(forest)$ , probabilità di trovare una in un blocco$forest$

3. Con questo, testate l'immagine (di nuovo, suddividendola in pezzi più piccoli) e calcolate la probabilità posteriore. Usando la teoria delle decisioni di Bayes, definiresti i tuoi criteri di selezione binari (in questo caso) in qualche modo

   $$\widetilde{y}_i(\mathbf{x})=\arg \max_{y_i}\quad \mathcal{P}_\mathcal{X|Y}(\mathbf{x}|y_i)\ \mathcal{P}_\mathcal{Y}(y_i)$$ dove assegni ciascun blocco a quella classe che ha la più alta probabilità posteriore. Ciò comporterà la tua maschera binaria.

Si noti che questa è una panoramica molto semplificata dell'approccio. Ci sono molte cose da prendere in considerazione e la più importante è scegliere il giusto set di funzionalità per il tuo problema. Puoi anche fare cose più complicate come usare modelli di miscele e stime di densità basate sul kernel, ma tutto ciò è troppo dettagliato e richiede tempo per scrivere una risposta.

Per una motivazione e la conferma che vale la pena provare questo approccio, ecco un esempio di qualcosa che ho fatto molto tempo fa come compito a casa, che è molto simile a quello che stai cercando di raggiungere. L'obiettivo era rilevare l'animale dalla vegetazione di sfondo (immagine a sinistra). La figura a destra mostra la maschera binaria ottenuta dopo "l'apprendimento" per distinguere tra primo piano e sfondo.

Per saperne di più sull'apprendimento automatico, ti consigliamo di leggere alcuni libri di testo. Uno dei libri di testo ben noti e spesso consigliati nel campo è:

T. Hastie, R. Tibshirani e J. Friedman, The Elements of Statistical Learning: Data Mining, Inference, and Prediction. 2nd Ed., Springer-Verlag (2008)

che è ora disponibile come PDF gratuito al link fornito. Un altro libro decente è:

RO Duda, PE Hart e DG Stork, Classificazione dei modelli , 2a edizione, John Wiley & Sons (2001)

Questo è di qualche interesse?

Rilevamento della superficie attraversabile in tempo reale mediante fusione dello spazio colore e analisi temporale

Sembra un problema per la segmentazione delle trame (non una segmentazione dei colori) Esistono molti metodi,

usano spesso wavelet Gabor, come questo http://note.sonots.com/SciSoftware/GaborTextureSegmentation.html

Segmentazione basata su superpixel http://ttic.uchicago.edu/~xren/research/superpixel/

e simili segmentazione del taglio del grafico http://en.wikipedia.org/wiki/Graph_cuts_in_computer_vision

ecco la panoramica della wiki http://en.wikipedia.org/wiki/Segmentation_(image_processing)