Errore "Elenco argomenti troppo lungo" durante la copia di un numero elevato di file

Sto usando il seguente comando:

\cp -uf /home/ftpuser1/public_html/ftparea/*.jpg /home/ftpuser2/public_html/ftparea/

E sto ricevendo l'errore:

-bash: /bin/cp: Argument list too long

Ho anche provato:

ls /home/ftpuser1/public_html/ftparea/*.jpg | xargs -I {} cp -uf {} /home/ftpuser2/public_html/ftparea/

Ancora ottenuto -bash: / bin / ls: elenco degli argomenti troppo lungo

Qualche idea?

* .jpg si espande in un elenco più lungo di quello che la shell può gestire. Prova questo invece

find  /home/ftpuser/public_html/ftparea/ -name "*.jpg" -exec cp -uf "{}" /your/destination \;

Esiste un limite massimo alla durata di un elenco di argomenti per i comandi di sistema: questo limite è specifico della distro in base al valore di MAX_ARG_PAGESquando viene compilato il kernel e non può essere modificato senza ricompilare il kernel.

A causa del modo in cui la shell viene gestita dal globbing, ciò influirà sulla maggior parte dei comandi di sistema quando si utilizza lo stesso argomento ("* .jpg"). Poiché il glob viene prima elaborato dalla shell e quindi inviato al comando, il comando:

cp -uf *.jpg /targetdir/

è essenzialmente lo stesso per la shell come se avessi scritto:

cp -uf 1.jpg 2.jpg ... n-1.jpg n.jpg /targetdir/

Se hai a che fare con molti jpeg, questo può diventare ingestibile molto rapidamente. A seconda della convenzione di denominazione e del numero di file che è effettivamente necessario elaborare, è possibile eseguire il comando cp su un sottoinsieme diverso della directory alla volta:

cp -uf /sourcedir/[a-m]*.jpg /targetdir/
cp -uf /sourcedir/[n-z]*.jpg /targetdir/

Questo potrebbe funzionare, ma esattamente quanto sarebbe efficace si basa sulla capacità di suddividere l'elenco dei file in comodi blocchi globbable.

Globbable. Mi piace quella parola

Alcuni comandi, come find e xargs , possono gestire elenchi di file di grandi dimensioni senza creare elenchi di argomenti di dimensioni ridotte.

find /sourcedir/ -name '*.jpg' -exec cp -uf {} /targetdir/ \;

L'argomento -exec eseguirà il resto della riga di comando una volta per ogni file trovato da find , sostituendo {} con ogni nome file trovato. Poiché il comando cp viene eseguito solo su un file alla volta, il limite dell'elenco argomenti non è un problema.

Questo potrebbe essere lento a causa della necessità di elaborare ciascun file singolarmente. L'uso di xargs potrebbe fornire una soluzione più efficiente:

find /sourcedir/ -name '*.jpg' -print0 | xargs -0 cp -uf -t /destdir/

xargs può prendere l'elenco completo dei file fornito da find e suddividerlo in elenchi di argomenti di dimensioni gestibili ed eseguire cp su ciascuna di queste liste secondarie.

Naturalmente, c'è anche la possibilità di ricompilare il kernel, impostando un valore più grande per MAX_ARG_PAGES. Ma ricompilare un kernel è più lavoro di quello che sono disposto a spiegare in questa risposta.

Ciò accade perché l'espressione jolly ( *.jpg) supera il limite di lunghezza dell'argomento della riga di comando quando viene espansa (probabilmente perché hai molti file .jpg sotto /home/ftpuser/public_html/ftparea).

Esistono diversi modi per aggirare quella limitazione, come usare findo xargs. Dai un'occhiata a questo articolo per maggiori dettagli su come farlo.

Come ha commentato GoldPseudo, esiste un limite al numero di argomenti che è possibile passare a un processo che si sta generando. Vedi la sua risposta per una buona descrizione di quel parametro.

Puoi evitare il problema evitando di passare troppi argomenti al processo o riducendo il numero di argomenti che stai passando.

Un ciclo for nella shell, find, e ls, grep e un ciclo while fanno tutti la stessa cosa in questa situazione -

for file in /path/to/directory/*.jpg ; 
do
  rm "$file"
done

e

find /path/to/directory/ -name '*.jpg' -exec rm  {} \;

e

ls /path/to/directory/ | 
  grep "\.jpg$" | 
  while
    read file
  do
    rm "$file"
  done

tutti hanno un programma che legge la directory (la shell stessa, trova e ls) e un programma diverso che prende effettivamente un argomento per esecuzione e scorre l'intero elenco di comandi.

Ora, questo sarà lento perché l'rm deve essere biforcato ed eseguito per ogni file che corrisponde al modello * .jpg.

È qui che entra in gioco xargs. xargs accetta un input standard e per ogni N (per default è 5000) righe, genera un programma con N argomenti. xargs è un'ottimizzazione dei cicli di cui sopra perché è necessario eseguire il fork dei programmi 1 / N per scorrere su tutta la serie di file che leggono gli argomenti dalla riga di comando.

Esiste un numero massimo di argomenti che possono essere specificati in un programma, bash espande * .jpg in molti argomenti in cp. Puoi risolverlo usando find, xargs o rsync ecc.

Dai un'occhiata qui su xargs e trova

/programming/143171/how-can-i-use-xargs-to-copy-files-that-have-spaces-and-quotes-in-their-names

Il glob '*' si sta espandendo a troppi nomi di file. Utilizzare invece / home / ftpuser / public_html -name '* .jpg'.

L'uso +dell'opzione per find -execvelocizzerà notevolmente l'operazione.

find  /home/ftpuser/public_html/ftparea/ -name "*jpg" -exec cp -uf -t /your/destination "{}" +

L' +opzione richiede {}di essere l'ultimo argomento, quindi utilizzando l' opzione -t /your/destination(o --target-directory=/your/destination) per cpfarlo funzionare.

Da man find:

comando -exec {} +

          This  variant  of the -exec action runs the specified command on  
          the selected files, but the command line is built  by  appending  
          each  selected file name at the end; the total number of invoca‐  
          tions of the command will  be  much  less  than  the  number  of  
          matched  files.   The command line is built in much the same way  
          that xargs builds its command lines.  Only one instance of  ‘{}’  
          is  allowed  within the command.  The command is executed in the  
          starting directory.

Modifica : riordina gli argomenti in cp

Sembra che tu abbia troppi *.jpgfile in quella directory per metterli tutti sulla riga di comando contemporaneamente. Puoi provare:

find /home/ftpuser/public_html/ftparea1 -name '*.jpg' | xargs -I {} cp -uf {} /home/ftpuser/public_html/ftparea2/

Potrebbe essere necessario verificare man xargsl'implementazione per vedere se lo -Iswitch è corretto per il proprio sistema.

In realtà, hai davvero intenzione di copiare quei file nella stessa posizione in cui si trovano già?

Vai alla cartella

cd /home/ftpuser1/public_html/

ed eseguire quanto segue:

cp -R ftparea/ /home/ftpuser2/public_html/

In questo modo se la cartella 'ftparea' ha sottocartelle, questo potrebbe essere un effetto negativo se si desidera solo i file '* .jpg' da esso, ma se non ci sono sottocartelle, questo approccio sarà sicuramente molto più veloce di usando find e xargs