Unix & Linux deduplication

19

C'è un modo semplice per sostituire i file duplicati con hardlink?

Sto cercando un modo semplice (un comando o una serie di comandi, probabilmente che coinvolge find) per trovare file duplicati in due directory e sostituire i file in una directory con collegamenti fisici dei file nell'altra directory. Ecco la situazione: questo è un file server su cui più persone memorizzano …

137 files hard-link deduplication duplicate-files

1

Come duplicare un file senza copiarne i dati con btrfs?

Non ho esperienza con btrfs, ma è pubblicizzato per poter de-duplicare i file. Nella mia applicazione, avrei bisogno di duplicare interi alberi di directory. Da quello che ho imparato, btrfs de-duplica solo in alcuni post scan, non immediatamente. Anche solo l'utilizzo cpnon sembra innescare alcuna deduplicazione (almeno, dfmostra un aumento …

14 cp file-copy btrfs deduplication

2

Esistono script di deduplicazione che utilizzano btrfs CoW come deduplica?

Alla ricerca di strumenti di deduplicazione su Linux ce ne sono molti, vedi ad esempio questa pagina wiki . Quasi tutti gli script eseguono solo il rilevamento, la stampa dei nomi di file duplicati o la rimozione di file duplicati collegandoli a una singola copia. Con l'ascesa di btrfs ci …

9 btrfs deduplication

4

Come trovare linee duplicate in molti file di grandi dimensioni?

Ho ~ 30k file. Ogni file contiene ~ 100k righe. Una linea non contiene spazi. Le righe all'interno di un singolo file vengono ordinate e duplicate gratuitamente. Il mio obiettivo: voglio trovare tutte le righe duplicate su due o più file e anche i nomi dei file che contenevano voci …

9 shell-script text-processing performance large-files deduplication

1

Creare un archivio tar (o altro), con i dati allineati a blocchi come nei file originali per una migliore deduplicazione a livello di blocco?

Come si può generare un file tar, in modo che il contenuto dei file tarred sia allineato a blocchi come nei file originali, in modo che si possa beneficiare della deduplicazione a livello di blocco ( https://unix.stackexchange.com/a/208847/9689 ) ? (Ho ragione a dire che non c'è nulla di intrinseco nel …

8 btrfs archive deduplication

5

Rimuovere le righe duplicate da un file che contiene un timestamp

Questa domanda / risposta ha alcune buone soluzioni per eliminare le linee identiche in un file, ma non funzionerà nel mio caso poiché le righe altrimenti duplicate hanno un timestamp. È possibile dire a awk di ignorare i primi 26 caratteri di una riga nel determinare i duplicati? Esempio: [Fri …

8 text-processing awk duplicate deduplication

2

Deduplicazione a livello di partizione

Quali sono le soluzioni disponibili per livello di blocco o deduplicazione più dettagliata? Ci sono quelli basati su file - con l'approccio "Copia su scrittura". Sto cercando "copy-on-write" a livello di blocco, in modo da poter periodicamente cercare blocchi comuni o - preferibilmente - parti di file, unirli e contrassegnare …

8 filesystems deduplication

Domande taggate «deduplication»