Rilevamento di immagini quasi duplicate [chiuso]

Qual è un modo veloce per ordinare un dato insieme di immagini in base alla loro somiglianza tra loro.

Al momento ho un sistema che esegue l'analisi dell'istogramma tra due immagini, ma questa è un'operazione molto costosa e sembra troppo eccessiva.

In modo ottimale, sto cercando un algoritmo che dia a ciascuna immagine un punteggio (ad esempio un punteggio intero, come la media RGB) e posso semplicemente ordinare in base a quel punteggio. Punteggi identici o punteggi uno accanto all'altro sono possibili duplicati.

0299393
0599483
0499994 <- possible dupe
0499999 <- possible dupe
1002039
4995994
6004994 

La media RGB per immagine fa schifo, c'è qualcosa di simile?

Sono state condotte molte ricerche sulla ricerca di immagini e sulle misure di somiglianza. Non è un problema facile. In generale, un singolo intnon sarà sufficiente per determinare se le immagini sono molto simili. Avrai un alto tasso di falsi positivi.

Tuttavia, poiché sono state fatte molte ricerche, potresti dare un'occhiata ad alcune di esse. Ad esempio, questo documento (PDF) fornisce un algoritmo di fingerprinting di immagini compatto adatto per trovare rapidamente immagini duplicate e senza memorizzare molti dati. Sembra che questo sia l' approccio giusto se vuoi qualcosa di robusto.

Se stai cercando qualcosa di più semplice, ma decisamente più ad-hoc, questa domanda SO ha alcune idee decenti.

Consiglierei di considerare di allontanarsi dall'usare solo un istogramma RGB.

È possibile ottenere un riassunto migliore della tua immagine se prendi un wavelet 2d Haar dell'immagine (è molto più facile di quanto sembri, è solo un sacco di media e alcune radici quadrate usate per pesare i tuoi coefficienti) e mantieni solo il k più grande coefficienti ponderati nel wavelet come un vettore sparse, normalizzarlo e salvarlo per ridurne le dimensioni. Dovresti riscalare RG e B usando almeno i pesi percettivi in ​​anticipo o ti consiglio di passare a YIQ (o YCoCg, per evitare il rumore di quantizzazione) in modo da poter campionare le informazioni sulla crominanza con importanza ridotta.

È ora possibile utilizzare il prodotto scalare di due di questi vettori normalizzati sparsi come misura della somiglianza. Le coppie di immagini con i prodotti di punti più grandi saranno molto simili nella struttura. Questo ha il vantaggio di essere leggermente resistente al ridimensionamento, allo spostamento della tonalità e alla filigrana, ed è davvero facile da implementare e compattare.

È possibile compromettere l'archiviazione e la precisione aumentando o diminuendo k.

L'ordinamento in base a un singolo punteggio numerico sarà intrattabile per questo tipo di problema di classificazione. Se ci pensi, le immagini dovrebbero essere in grado di "cambiare" solo lungo un asse, ma non lo fanno. Questo è il motivo per cui hai bisogno di un vettore di caratteristiche. Nel caso wavelet di Haar è approssimativamente dove si verificano le discontinuità più nette nell'immagine. Puoi calcolare una distanza tra le immagini a coppie, ma poiché tutto ciò che hai è una metrica della distanza, un ordinamento lineare non ha modo di esprimere un "triangolo" di 3 immagini che sono tutte ugualmente distanti. (es. pensa a un'immagine che è tutta verde, un'immagine che è tutta rossa e un'immagine che è tutta blu.)

Ciò significa che qualsiasi soluzione reale al tuo problema richiederà O (n ^ 2) operazioni nel numero di immagini che hai. Considerando che se fosse stato possibile linearizzare la misura, si potrebbe richiedere solo O (n log n), o O (n) se la misura fosse adatta, diciamo, a un ordinamento digitale. Detto questo, non è necessario spendere O (n ^ 2) poiché in pratica non è necessario setacciare l'intero set, devi solo trovare le cose che sono più vicine di una certa soglia. Quindi, applicando una delle diverse tecniche per partizionare il tuo spazio vettoriale sparso puoi ottenere asintotici molto più veloci per il problema del 'trovarmi k delle immagini che sono più simili a una data soglia' piuttosto che confrontare ingenuamente ogni immagine con ogni immagine, dandoti cosa probabilmente hai bisogno di ... se non esattamente quello che hai chiesto.

In ogni caso, l'ho usato alcuni anni fa con buoni risultati personalmente quando cercavo di ridurre al minimo il numero di diverse trame che stavo memorizzando, ma c'è stato anche un sacco di rumore di ricerca in questo spazio che mostra la sua efficacia (e in questo caso il confronto a una forma più sofisticata di classificazione dell'istogramma):

http://www.cs.princeton.edu/cass/papers/spam_ceas07.pdf

Se hai bisogno di una migliore precisione nel rilevamento, gli algoritmi minHash e tf-idf possono essere utilizzati con il wavelet di Haar (o l'istogramma) per gestire le modifiche in modo più robusto:

http://cmp.felk.cvut.cz/~chum/papers/chum_bmvc08.pdf

Infine, Stanford ha una ricerca di immagini basata su una variante più esotica di questo tipo di approccio, basata sull'estrazione di più funzionalità dalle wavelet per trovare sezioni di immagini ruotate o ridimensionate, ecc., Ma questo probabilmente va ben oltre la quantità di lavoro vorrei fare.

http://wang14.ist.psu.edu/cgi-bin/zwang/regionsearch_show.cgi

Ho implementato un algoritmo molto affidabile per questo chiamato Fast Multiresolution Image Querying . Il mio codice (antico, non mantenuto) per questo è qui .

Quello che fa Fast Multiresolution Image Querying è dividere l'immagine in 3 parti in base allo spazio colore YIQ (meglio per le differenze di corrispondenza rispetto a RGB). Quindi l'immagine viene essenzialmente compressa utilizzando un algoritmo wavelet fino a quando sono disponibili solo le caratteristiche più importanti di ogni spazio colore. Questi punti vengono memorizzati in una struttura dati. Le immagini della query seguono lo stesso processo e le caratteristiche principali dell'immagine della query vengono confrontate con quelle del database archiviato. Più corrispondenze, più è probabile che le immagini siano simili.

L'algoritmo è spesso utilizzato per la funzionalità "query by sketch". Il mio software consentiva solo l'inserimento di immagini di query tramite URL, quindi non c'era un'interfaccia utente. Tuttavia, ho scoperto che ha funzionato eccezionalmente bene per abbinare le miniature alla versione grande di quell'immagine.

Molto più impressionante del mio software è retrievr che ti consente di provare l'algoritmo FMIQ utilizzando le immagini di Flickr come fonte. Molto bello! Provalo tramite schizzo o utilizzando un'immagine sorgente e puoi vedere come funziona.

Un'immagine ha molte caratteristiche, quindi a meno che non te ne restringa una, come la luminosità media, hai a che fare con uno spazio problema n-dimensionale.

Se ti chiedessi di assegnare un unico intero alle città del mondo, così da poter dire quali sono vicine, i risultati non sarebbero eccezionali. Ad esempio, potresti scegliere il fuso orario come numero intero singolo e ottenere buoni risultati con alcune città. Tuttavia, anche una città vicino al polo nord e un'altra città vicino al polo sud possono trovarsi nello stesso fuso orario, anche se si trovano alle estremità opposte del pianeta. Se ti lascio usare due numeri interi, potresti ottenere ottimi risultati con latitudine e longitudine. Il problema è lo stesso per la somiglianza delle immagini.

Detto questo, ci sono algoritmi che cercano di raggruppare immagini simili insieme, che è effettivamente ciò che stai chiedendo. Questo è ciò che accade quando esegui il rilevamento dei volti con Picasa. Anche prima di identificare i volti, raggruppa quelli simili insieme in modo che sia facile passare attraverso una serie di volti simili e dare alla maggior parte di essi lo stesso nome.

Esiste anche una tecnica chiamata Principle Component Analysis, che consente di ridurre i dati n-dimensionali fino a un numero inferiore di dimensioni. Quindi un'immagine con n caratteristiche potrebbe essere ridotta a una caratteristica. Tuttavia, questo non è ancora l'approccio migliore per confrontare le immagini.

C'è una libreria C ("libphash" - http://phash.org/ ) che calcolerà un "hash percettivo" di un'immagine e ti permetterà di rilevare immagini simili confrontando gli hash (quindi non devi confrontare ogni immagine direttamente contro ogni altra immagine) ma sfortunatamente non sembrava essere molto preciso quando l'ho provato.

Devi decidere cosa è "simile". Contrasto? Hue?

Un'immagine "simile" alla stessa immagine è capovolta?

Scommetto che puoi trovare molte "chiamate ravvicinate" rompendo le immagini in pezzi 4x4 e ottenendo un colore medio per ogni cella della griglia. Avresti sedici punteggi per immagine. Per giudicare la somiglianza, dovresti semplicemente fare una somma di quadrati delle differenze tra le immagini.

Non penso che un singolo hash abbia senso, a meno che non sia contro un singolo concetto come tonalità, luminosità o contrasto.

Ecco la tua idea:

0299393
0599483
0499994 <- possible dupe
0499999 <- possible dupe
1002039
4995994
6004994

Prima di tutto, presumo che questi siano numeri decimali che sono R * (2 ^ 16) + G * (2 ^ 8) + B, o qualcosa del genere. Ovviamente non va bene perché il rosso è ponderato in modo eccessivo.

Andare nello spazio HSV sarebbe meglio. Potresti distribuire i bit di HSV nell'hash, oppure potresti semplicemente sistemare H o S o V individualmente, oppure potresti avere tre hash per immagine.

Un'altra cosa. Se pesate R, G e B. Peso verde più alto, poi rosso, poi blu per corrispondere alla sensibilità visiva umana.

Nell'era dei servizi web potresti provare http://tineye.com

La domanda Buon modo per identificare immagini simili? sembra fornire una soluzione alla tua domanda.

Presumo che altri software di ricerca di immagini duplicate eseguano una FFT sulle immagini e memorizzino i valori delle diverse frequenze come vettori:

Image1 = (u1, u2, u3, ..., un)
Image2 = (v1, v2, v3, ..., vn)

e quindi puoi confrontare due immagini per uguaglianza calcolando la distanza tra i vettori di peso di due immagini:

distance = Sqrt(
     (u1-v1)^2 +
     (u2-v2)^2 +
     (u2-v3)^2 +
     ...
     (un-vn)^2);

Una soluzione è eseguire un confronto RMS / RSS su ogni coppia di immagini richieste per eseguire un Bubble sort. In secondo luogo, potresti eseguire una FFT su ciascuna immagine e fare una media degli assi per recuperare un singolo numero intero per ogni immagine che useresti come indice per ordinare. Potresti considerare di fare qualsiasi confronto su una versione ridimensionata (25%, 10%) dell'originale a seconda di quanto piccola differenza scegli di ignorare e di quanto accelerazione desideri. Fammi sapere se queste soluzioni sono interessanti e possiamo discutere o posso fornire un codice di esempio.

La maggior parte degli approcci moderni per rilevare il rilevamento di immagini quasi duplicate utilizza il rilevamento di punti interessanti e descrittori che descrivono l'area attorno a tali punti. Spesso viene utilizzato SIFT . Quindi puoi quatizzare i descrittori e utilizzare i cluster come vocabolario visivo delle parole.

Quindi, se vediamo il rapporto tra le parole visive comuni di due immagini e tutte le parole visive di queste immagini, stimerai la somiglianza tra le immagini. Ci sono molti articoli interessanti. Uno di questi è il rilevamento di immagini quasi duplicate: minHash e tf-idf Weighting

Ad esempio, utilizzando l'estensione IMMI e IMMI è possibile esaminare molti modi diversi su come misurare la somiglianza tra le immagini: http://spl.utko.feec.vutbr.cz/en/component/content/article/46-image-processing-extension- per-rapidminer-5

Definendo una soglia e selezionando un metodo è possibile misurare la somiglianza.