Spostamento di milioni di file in una directory diversa con schemi di nomi specifici

Ho milioni di file con la seguente nomenclatura su una macchina Linux:

1559704165_a1ac6f55fef555ee.jpg

Le prime 10 cifre sono timestamp e quelle seguite da a _sono ID specifici. Voglio spostare tutti i file corrispondenti a specifici ID di file in una cartella diversa.

Ho provato questo sulla directory con i file

find . -maxdepth 1 -type f | ??????????_a1ac*.jpg |xargs mv -t "/home/ubuntu/ntest"

Tuttavia sto ricevendo un errore che indica:

bash 1559704165_a1ac6f55fef555ee.jpg: command not found

Quando ho provato, mv ??????????_a1ac*.jpg sto ricevendo errore elenco troppo lungo elenco argomenti. Ho almeno 15 diversi modelli di nome file. Come li sposto.

Dovresti usare:

find . -maxdepth 1 -type f -name '??????????_a1ac*.jpg' \
-exec mv -t destination "{}" +

Quindi maxdepth 1significa che non si desidera cercare nella directory corrente nessuna sottodirectory.

type f significa trovare solo i file.

name '??????????_a1ac*.jpg' è un modello che corrisponde al file che stai cercando.

mv -t destination "{}" +significa spostare i file corrispondenti a destinazione. Qui +aggiunge nuovi file corrispondenti a quello precedente come:

mv -t dest a b c d

Qui abcd sono file diversi.

Il tuo comando,

find . -maxdepth 1 -type f | ??????????_a1ac*.jpg |xargs mv -t "/home/ubuntu/ntest"

Pipa l'elenco di tutti i file A tutti i file!

find . -maxdepth 1 -type f -name `*_a1ac*.jpg` -print0 |\
xargs  -0 -r mv -t "/home/ubuntu/ntest"

farà il trucco.

Sei molto vicino. Dovresti usare l' -nameopzione per find. E ricorda di citare il modello.

Così

find . -maxdepth 1 -type f -name '??????????_a1ac*.jpg' |xargs mv -t "/home/ubuntu/ntest"

Non "buono" come le findsoluzioni, ma un'altra valida soluzione è rendere i mvcomandi più granulari.

Questo fa 4096 mosse, con un numero minore di file spostati per mvoperazione.

FILEPAT=a1ac
for i in $(seq $((0x000)) $((0xfff))); 
do 
   H=$(printf '%x\n' $i)
   mv 1559704165_${FILEPAT}${H}*.jpg /home/ubuntu/ntest
done

Se vuoi spostare i file sullo stesso sistema host, che immagino tu stia facendo con il tuo mv, rsyncpotrebbe essere un'opzione più veloce:

rsync -av --inplace -W /source/??????????_a1ac*.jpg /home/ubuntu/ntest/

--inplacee -Wsono impostati per accelerare il processo.

Se ciò produce un errore troppo lungo di un altro elenco di argomenti, è possibile alimentare gli elenchirsync

Crea l'elenco con find, ad esempio

find . -maxdepth 1 -type f -name '??????????_a1ac*.jpg' > /tmp/my_image_list.txt

e darlo a rsync

rsync -av --inplace -W --files-from=/tmp/my_image_list.txt /path/to/files /home/ubuntu/ntest/

La fonte qui è /path/to/files, perché rsynctratterà la lista che gli dai come relativa alla tua fonte.

Il punto è: rsyncè più veloce di mv, se i file non si trovano sullo stesso filesystem .