Rimuovi i messaggi duplicati da Maildir

10

Ho un sacco di messaggi duplicati nel Maildir del mio server IMAP. Qual è il modo migliore per rimuoverli?

Alcuni punti rilevanti:

L'ID messaggio condiviso è in genere una definizione sufficientemente buona di duplicato. Un piccolo script che rimuove tutti tranne uno dei messaggi duplicati funzionerebbe.
A volte è necessario trovare duplicati basati su corpi di messaggi condivisi. Qual è una definizione ragionevole di condivisa qui? Equivalente bit a bit? Che dire delle strane differenze nell'involucro di linea, nella fuga, nella codifica dei caratteri?
A volte c'è una differenza significativa tra i messaggi "duplicati". Qual è il modo migliore per esaminare le differenze nelle serie di messaggi "duplicati"? Diffs?

maildir

— Joseph Holsten
fonte

6

Ho apportato alcuni miglioramenti significativi alla sceneggiatura di Kevin di cui sopra, ed è stato così gentile da accettare le mie richieste pull. Alla fine l'abbiamo suddiviso in un progetto dedicato che puoi trovare qui:

https://github.com/kdeldycke/maildir-deduplicate

— Adam Spires
fonte

Questo script è stato spostato in una nuova posizione, quindi ho aggiornato il collegamento.

— Adam Spires,

3

per i file generici in linux, uso utils fdupes per rimuovere i file duplicati. Ho scoperto che funziona anche per i messaggi Maildir.

— Sarabande
fonte

1

fdupes sembra funzionare solo per duplicati esatti, mentre l'OP sta (implicitamente) chiedendo modelli di duplicazione più complessi. Un messaggio recapitato due volte a causa di .forwardo comunque avrà intestazioni leggermente diverse, quindi mentre il messaggio stesso è un duplicato, i due file contenenti le due copie potrebbero non esserlo.

— triplo

0

Gnome's Evolution [un agente utente di posta grafica] ha una funzione integrata per rimuovere la posta duplicata. Come spiegato in questa pagina di aiuto , si riduce a:

Seleziona i messaggi sospetti (o solo tutti i messaggi)
Vai al menu Messaggi , scegli Rimuovi i messaggi duplicati .

Ecco.

PS Evolution può accedere ai tuoi messaggi localmente (MailDir, MH, Mbox) o tramite IMAP.

— Franklin Piat
fonte

0

Il migliore che ho trovato oggi è il deduplicato di Kevin Deldycke .

Ignora l' X-MIMETrackintestazione per impostazione predefinita e confronta le intestazioni utilizzando il SHA224digest.
Elimina automaticamente i duplicati senza chiedere conferma; tuttavia esiste una modalità di funzionamento a secco che consente di visualizzare in anteprima quali duplicati verranno eliminati.

Scommetto che qualcuno potrebbe inventare qualcosa dal delIMAPdups.pl di Rick Sanders , parte dei suoi strumenti IMAP .

— Joseph Holsten
fonte

maildir-deduplicate spostato in una nuova posizione, quindi ho aggiornato il collegamento. Tuttavia, le tue informazioni non sono più aggiornate.

— Adam Spires,

Ho aggiornato questo in modo che non ci siano più informazioni obsolete fuorvianti.

— Adam Spires,