Come eliminare i metadati dai file di immagine

[ EDIT # 1 di OP: risulta che questa domanda abbia una risposta abbastanza buona dal creatore / manutentore di exiftool Phil Harvey in un thread duplicato sul forum di ExifTool ]

[ EDIT # 2 per OP: dalle FAQ di ExifTool : non è garantito che ExifTool rimuova completamente i metadati da un file quando si tenta di eliminare tutti i metadati. Vedi "Limitazioni di Writer".]

Vorrei cercare i miei vecchi dischi rigidi per le foto che non si trovano sul mio attuale disco di backup. I formati includono jpg, png, tif, ecc ..., nonché vari formati non elaborati (diversi modelli e produttori di fotocamere).

Sono interessato solo all'unicità dell'immagine stessa e non all'unicità a causa delle differenze, per esempio, dei valori dei tag exif, della presenza / assenza di un dato tag exif stesso, delle miniature incorporate, ecc ...

Anche se non mi aspetto di trovare corruzione / marciume di dati tra copie diverse di immagini altrimenti identiche, vorrei rilevarlo, così come le differenze dovute al ridimensionamento e ai cambiamenti di colore.

[ Modifica n. 3 con OP: per chiarimenti: una piccola percentuale di falsi positivi è tollerabile (un file è considerato unico quando non lo è) e falsi negativi sono altamente indesiderabili (un file è erroneamente considerato un duplicato). ]

Il mio piano è quello di identificare l'unicità basata su md5sums dopo aver rimosso tutti i metadati.

Come posso eliminare i metadati?

Sarà exiftool -all= <filename>sufficiente?

jheadha la capacità di rimuovere metadati non di immagine da file JPEG. La pagina man dice:

-dc

Elimina il campo dei commenti dall'intestazione JPEG. Si noti che il commento non fa parte dell'intestazione Exif.

-de

Elimina completamente l'intestazione Exif. Lascia intatte le altre sezioni di metadati.

-di

Elimina la sezione IPTC, se presente. Lascia intatte le altre sezioni di metadati.

-dx

Elimina la sezione XMP, se presente. Lascia intatte le altre sezioni di metadati.

-du

Elimina sezioni di jpeg che non sono Exif, non commentano e che altrimenti non contribuiscono all'immagine, ad esempio i dati che Photoshop potrebbe lasciare nell'immagine.

-purejpg

Elimina tutte le sezioni JPEG che non sono necessarie per il rendering dell'immagine. Elimina tutti i metadati che varie applicazioni potrebbero aver lasciato nell'immagine. Una combinazione delle opzioni -de -dce -du.

Vorrei andare con ImageMagick per la maggior parte delle immagini. Questo perché diverse implementazioni di libreria produrranno risultati compressi diversi, ImageMagick può eseguire un'unificazione di compressione.

I tipi comuni sono facili perché il sistema operativo dispone di librerie per leggerle e scriverle. Così:

find . -type f -name '*.jp*g' -o -type f -name '*.JP*G' \
       -exec mogrify -strip -taint -compress JPEG {} \;

find . -type f -name '*.png' -o -type f -name '*.PNG' \
       -exec mogrify -strip -taint -compress Lossless {} \;

find . -type f -name '*.gif' -o -type f -name '*.GIF' \
       -exec mogrify -strip -taint -compress LZW {} \;

Questo assicurerà di avere le immagini scritte allo stesso modo. E quindi puoi eseguire:

find . -type f -regextype posix-extended \
       -regex ".*\.(jpe?g|JPE?G|png|PNG|gif|GIF)" \
       -exec md5sum {} \; > checksums
sort -k 1 checksums |
cut -d ' ' -f 1 |
uniq -d |
while read x; do
    grep $x checksums
done

Per i formati RAW credo che l'unico modo sia fare come dice Phil, e quindi:

find . <blah blah> -exec exiftool -all= {} \;

E poi il checksum sarebbe lo stesso. Devi solo incrociare le dita sul fatto che i formati di immagine più esotici possono essere creati con una singola implementazione (o avere un formato di file rigido).

Disclaimer : funzionerà per confrontare i checksum tra di loro. Se si memorizzano i checksum e si esegue nuovamente -stripdopo un aggiornamento zlibo libjpegsi può finire con checksum completamente diversi. Devi creare i checksum per ogni immagine ogni volta. Date le preoccupazioni sulla qualità dell'immagine, è consigliabile eseguirlo una sola volta .

Con il imagemagickpacchetto e non solo per i JPEG puoi semplicemente:

mogrify -strip *.jpg

Dal manuale :

-strip

rimuovere l'immagine di eventuali profili, commenti o questi blocchi PNG: bKGD, cHRM, EXIF, gAMA, iCCP, iTXt, sRGB, tEXt, zCCP, zTXt, data.

Molte più informazioni e avvertenze qui .

Nota: questo è simile a @grochmal ma molto più diretto e semplice.

Una possibile soluzione che mi è appena venuta in mente. Evita il problema dei metadati. Presuppone che i file finiscano con l'immagine stessa, che tutti i metadati siano all'inizio del file.

Facciamo riferimento all'unità di backup corrente come unità d'oro.

Per immagini sul disco d'oro:

1. Rimuovi qualsiasi miniatura incorporata.
2. Blocca il file a partire dalla fine, tagliando, diciamo, M = 100k byte. Fare riferimento al primo tailing (che contiene la fine del file) come end-chunk.
3. Calcola i md5sum di ogni blocco e li memorizza in un elenco principale chiamato lista d'oro.

Per immagini sulle vecchie unità :

1. Rimuovi qualsiasi miniatura incorporata.
2. Codifica gli ultimi M byte di un file.
3. Calcola il suo md5sum.
4. CLASSE U: se la somma non è nella lista d'oro, quindi concludere che il file è univoco per l'unità oro. Copialo sul disco d'oro. Calcola md5sums dei pezzi rimanenti e aggiungili alla lista d'oro. Passa al file successivo.
5. Altrimenti, tagliare il penultimo byte. Ma se i byte rimanenti sono inferiori a, diciamo, N = 50k, allora non ridurre i byte M. Elabora invece il rimanente come un pezzo leggermente sovradimensionato. N deve essere maggiore dello spazio più grande consumato dalle regioni dell'intestazione (miniature escluse).
6. Calcola il md5sum del pezzo.
7. Confronta con la lista d'oro e così via.
8. CLASSE D: Se le somme per tutti i pezzi sono nella lista d'oro, concludere che è un duplicato.
9. CLASSE P: Se le somme per tutti i pezzi, tranne l'ultimo, sono nella lista d'oro, quindi concludere che è probabilmente un duplicato.

La classe P conterrà le immagini che si trovano sul disco d'oro, ma hanno exifdata diversi o presentano corruzione / data marciume nei byte iniziali dell'immagine.

Al termine, esamina la CLASSE P in modo interattivo, confrontandoli con i loro compagni sul disco d'oro.

Vedi EDIT # 3 in OP.

L'assegnazione in CLASSE U e D deve essere accurata al 100%.

La dimensione della CLASSE P dipende dalla dimensione del blocco M, poiché i primi byte M + N di un file contengono quasi sicuramente alcuni dati di immagine (e tutti i metadati)

Se le vecchie unità contengono principalmente duplicati (compresi i metadati), utilizzare due passaggi per trovare gli unici come definiti nell'OP (che considera due file come duplicati anche se differiscono nei metadati):

1. Utilizzare md5sums di file integri intatti per identificare quali file sulle vecchie unità sono univoci (in questo senso alternativo) all'unità di backup corrente, assegnandoli a CLASS uU (unstripped-Unique) o CLASS D (upilcate). La CLASSE D sarà accurata al 100%. CLASSI Dovresti essere piccolo (come sopra ipotizzato) e contenere un mix di veri duplicati (nel senso OP) e veri unici.

2. Lavorando con il piccolo set di file, gestibile, in CLASS uU, utilizzare md5sums e varie tecniche di stripping per progettare un metodo di confronto dei file utile per gli scopi indicati in OP.

Questo è un po 'vecchio, ma sì, exiftool funziona molto bene.

Mostra metadati di

exiftool photo.jpg

Mostra i metedati per tutti i file * .jpg

Nota: l'estensione fa distinzione tra maiuscole e minuscole .

exiftool -ext jpg

Come sopra, ma include sottodirectory.

exiftool -r -ext jpg .

Rimuovi tutti i metadati

exiftool -all= -overwrite_original photo.jpg

Rimuovi tutti i metadati di tutti i file * .jpg nella directory corrente

exiftool -all= -overwrite_original -ext jpg 

Come sopra, ma include sottodirectory.

exiftool -all= -r -overwrite_original -ext jpg .

Rimuovi tutti i metadati GPS dei file * .jpg nella directory corrente

exiftool -gps:all= *.jpg