Qual è il modo più veloce per spostare un milione di immagini da una directory all'altra in Linux?

Ho un milione di immagini che occupano 30 GB di spazio su disco che devono essere spostate da una directory locale a un'altra directory locale.

Quale sarebbe il modo più efficace per farlo? Usando mv? Usando cp? Usando rsync? Qualcos'altro?

Devo prendere questi:

/path/to/old-img-dir/*
                     00000000.jpg
                     --------.jpg  ## nearly 1M of them! ##
                     ZZZZZZZZ.jpg

e spostali qui:

/path/to/new/img/dir/

rsync sarebbe una scelta sbagliata perché fa un sacco di lavoro in background client / server che tiene conto di sistemi locali e remoti.

mvè probabilmente la scelta migliore. Se possibile, dovresti provare mv directory_old directory_newpiuttosto che mv directory_old/* directory_new/. In questo modo, muovi una cosa invece di un milione di cose.

find src_image_dir/ -type f -name '*.jpg' -print0 | xargs -0r mv -t dst_image_dir/ 

• Ciò non sovraccaricherà l'espansione dell'argomento.
• È possibile specificare l'estensione del file, se lo si desidera. (-nome ...)
• find -print0con xargs -0consente di utilizzare spazi nei nomi.
• xargs -rnon funzionerà a mvmeno che non ci sia qualcosa da spostare. ( mvsi lamenterà se non viene fornito alcun file sorgente).
• La sintassi mv -tconsente di specificare prima la destinazione e poi i file di origine, necessari per xargs.
• Lo spostamento dell'intera directory è ovviamente molto più veloce, poiché avviene in tempo costante indipendentemente dal numero di file in essa contenuti, ma:
  • la directory di origine scomparirà per una frazione di tempo e potrebbe creare problemi;
  • se il processo utilizza la directory corrente come directory di output (al contrario di fare sempre riferimento a un percorso completo da una posizione non mobile), è necessario riavviarlo. (come fai con la rotazione del registro ).

A proposito, mi chiedo se devo davvero spostare una così grande quantità di file contemporaneamente. L'elaborazione in batch è sopravvalutata. Cerco di non accumulare enormi quantità di lavoro se riesco a elaborare le cose nel momento in cui vengono generate.

Se le due directory si trovano sullo stesso filesystem, utilizzare mvsu DIRECTORY e non il contenuto della directory.

Se risiedono su due diversi filesystem, utilizzare rsync:

rsync -av /source/directory/ /destination

Notare il finale /sulla fonte. Ciò significa che copierà il CONTENUTO della directory e non la directory stessa. Se lo lasci /spento, i file verranno comunque copiati ma si troveranno in una directory denominata /destination/directory. Con /, i file saranno appena dentro/destination

rsyncmanterrà la proprietà del file se lo esegui come root o se i file sono di tua proprietà. Manterrà anche il mtimefile di ogni singolo file.

tar cf - dir1 | (cd dir2; tar xf -)

tar cf - dir1 | ssh remote_host "( cd /path/to/dir2; tar xf - )"

Quando usi 'cp' ogni file fa un open-read-close-open-write-close. Tar utilizza diversi processi per la lettura e la scrittura e più battistrada per operare su più file contemporaneamente. Anche su un singolo box CPU le app multithread sono più veloci.

Poiché sia ​​directory_old che directory_new si trovano sullo stesso filesystem, è possibile utilizzare cp -linvece che mvcome opzione. cp -lcreerà un collegamento reale ai file originali. Quando hai finito con 'sposta' e sei soddisfatto del risultato, puoi rimuovere questi file da directory_old. in termini di velocità sarà lo stesso di "mv" quando crei prima i collegamenti e poi rimuovi quelli originali. Ma questo approccio ti consente di iniziare dall'inizio se questo ha senso

Dipende (tm). Se il tuo filesystem è copy-on-write, allora copy ( cpo rsync, per esempio) dovrebbe essere paragonabile a una mossa. Ma per i casi più comuni, move ( mv) sarà il più veloce, dal momento che può semplicemente cambiare le parti di dati che descrivono la posizione di un file (nota: questo è eccessivamente semplificato).

Quindi, nella tua installazione media di Linux, ci proverei mv.

EDIT: @ Frédéric Hamidi ha un buon punto nei commenti: questo è valido solo se si trovano entrambi sullo stesso filesystem e sullo stesso disco. Altrimenti i dati verranno comunque copiati.

Per copiare almeno ~ 10k di file (nessuna directory), cp si è lamentato di:

impossibile eseguire / bin / cp: elenco degli argomenti troppo lungo

L'opzione migliore è Rsync:

destinazione sorgente rsync

Ed è stato fatto molto rapidamente!

Se si dispone dello spazio libero, archiviarli in un singolo file .tar (senza compressione più veloce), quindi spostare il file sopra e annullare l'archiviazione.

La natura della destinazione determinerebbe il modo più efficiente per svolgere questo compito. Supponiamo che tu sia su un sistema locale, il tuo PWDè /adesso. e /acontiene milioni di immagini. Il nostro compito è spostare tutte le immagini /b, mantenendo al contempo tutta la struttura della sottodirectory. Supponiamo anche /ae /bsono punti di montaggio per due diverse partizioni, ciascuna su un disco collegato localmente. Vorremmo fare questo compito con un telo. Questo potrebbe richiedere un certo tempo, in modo da assicurarsi che si sta utilizzando screen, tmuxoppure eseguire questo come un processo in background.

tar -C /a -cf . | tar -C /b -xf -

Che sarebbe copiare tutti i file e le directory in /aa /b, così ora è necessario ripulire /auna volta si conferma che a termine senza errori.