Registrazione delle immagini per segmentazione


15

Gli algoritmi di registrazione delle immagini si basano generalmente su funzionalità puntiformi come SIFT (Trasforma invariante di scala).

Ho visto alcuni riferimenti alle funzioni di linea, ma mi chiedevo se sarebbe stato possibile abbinare segmenti di immagine anziché punti . Ad esempio, data sorgente e immagine trasformata:

inserisci qui la descrizione dell'immagine

Posso eseguire il rilevamento dei bordi, la sfocatura e la trasformazione del bacino su ciascuno:

inserisci qui la descrizione dell'immagine

Purtroppo, la segmentazione si è rivelata troppo diversa su ogni immagine per corrispondere a singoli segmenti.

Ho visto alcuni articoli sull'abbinamento di forme e descrittori di forme che sono invarianti rispetto alle trasformazioni affini, quindi quest'area sembra essere promettente ...

Esistono metodi di segmentazione più robusti per deformare (o addirittura proiettare) le deformazioni dell'immagine?


1
Il mio buon senso mi dice che le regioni più piccole sono più robuste rispetto alle trasformazioni globali. Pertanto, la segmentazione dovrebbe avere molti piccoli segmenti. Inoltre, alcune forme particolari sono invarianti ad alcune trasformazioni (come i cerchi alle rotazioni)
Andrey Rubshtein,

Le MSER (regioni estreme massimamente stabili) sono regioni, non punti. E sono invarianti alla trasformazione affine. Ma non è un metodo di segmentazione, a rigor di termini.
Niki Estner

@nikie Se metti il ​​tuo commento come risposta, lo accetterei. Mi interessava la segmentazione poiché le caratteristiche della regione contengono alcune informazioni sulla trasformazione delle immagini e potrebbero essere utilizzate per indovinare la trasformazione tra le immagini. Studierò sicuramente il documento su MSER.
Libor

Attualmente sto lavorando su CBIR utilizzando gli alberi dei componenti. La rappresentazione dell'albero dei componenti di un'immagine non dipenderebbe molto dalle deformazioni (anche proiettive) dell'immagine, livelli diversi consentirebbero confronti e operazioni fino a un diverso livello di dettaglio e dovrebbero funzionare meglio delle attuali tecniche su immagini a bassa trama . Per ora è solo un argomento di ricerca, appena iniziato, ma spero che ci sia qualcosa nell'approccio, altrimenti non mi darebbe una sovvenzione per farlo. Ma se qualcun altro ha fatto qualcosa di simile, potrebbe essere utile.
penelope,

@penelope Questi lavori su CBIR possono anche essere utili per il mosaico di immagini (il mio interesse specifico) in cui abbiamo impostato una serie di immagini con caratteristiche simili. L'attuale approccio popolare è la ricerca ad alta dimensione su descrittori di punti (ad es. SIFT), che può portare a false corrispondenze tra immagini mentre "regioni" o "componenti" anziché punti possono essere in grado di discriminarli. Hai qualche riferimento ai documenti sulla rappresentazione delle immagini dell'albero dei componenti? Grazie molto.
Libor,

Risposte:


4

Le MSER (regioni estreme massimamente stabili) sono regioni, non punti. E sono invarianti alla trasformazione affine. Ma non è un metodo di segmentazione, a rigor di termini

Informalmente parlando, l'idea è quella di trovare BLOB a varie soglie, quindi selezionare i BLOB che hanno il minor cambiamento di forma / area su un intervallo di soglie. Queste regioni dovrebbero essere stabili per una vasta gamma di trasformazioni geometriche e in scala di grigi.


4

Attualmente sto lavorando su CBIR utilizzando gli alberi dei componenti , che dovrebbe essere un'idea relativamente nuova. Alcuni vantaggi attesi dall'uso degli alberi dei componenti per descrivere le immagini sarebbero:

  • La rappresentazione dell'albero dei componenti di un'immagine non dipenderebbe tanto dalle deformazioni (anche proiettive) dell'immagine
  • L'esame di diversi livelli dell'albero consentirebbe confronti e operazioni fino a un diverso livello di dettaglio
  • La discriminazione e la descrizione dovrebbero funzionare meglio delle attuali tecniche sulle immagini a bassa trama.

Come ho appena iniziato con la ricerca relativa a questo argomento, ho solo una vaga idea dei miei obiettivi: rappresentare l'immagine con l'albero dei componenti e quindi confrontare i suddetti alberi dei componenti, sia direttamente trovando una rappresentazione vettoriale. Probabilmente potrò dire molto di più in poche settimane (o mesi), ma per ora posso offrire solo l'elenco dei documenti che mi sono stati consigliati come introduzione agli alberi dei componenti (non li ho ancora letti):

Posso forse aggiornare la risposta come e se trovo qualcosa di rilevante.

Inoltre, se il tuo obiettivo è, in un certo senso, abbinare in modo più preciso le regioni dell'immagine anziché solo i punti , poiché le regioni potrebbero essere più discriminatorie, in J. Sivic e A. Zisserman c'era un bel suggerimento : "Video Google: un recupero di testo Approccio alla corrispondenza degli oggetti nei video " .

Mi riferisco alla sezione relativa alla coerenza spaziale , in cui un gruppo di corrispondenze tra punti funzione è accettato solo se i punti funzione mantengono una configurazione spaziale simile in entrambe le immagini. Pertanto, la corrispondenza non dipende solo dal tipo di funzione estratta (DoG, MSER, ...) o dal descrittore (SIFT), ma esamina anche l'ambiente più ampio di un punto caratteristica, rendendolo (almeno un po ') dipendente dalla regione.

Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.