Quattro compiti in parallelo ... come posso farlo?

Ho un sacco di immagini PNG su una directory. Ho un'applicazione chiamata pngout che eseguo per comprimere queste immagini. Questa applicazione è chiamata da uno script che ho fatto. Il problema è che questo script fa uno alla volta, qualcosa del genere:

FILES=(./*.png)
for f in  "${FILES[@]}"
do
        echo "Processing $f file..."
        # take action on each file. $f store current file name
        ./pngout -s0 $f R${f/\.\//}
done

L'elaborazione di un solo file alla volta richiede molto tempo. Dopo aver eseguito questa app, vedo che la CPU è solo del 10%. Così ho scoperto che posso dividere questi file in 4 batch, mettere ogni batch in una directory e sparare 4, da quattro finestre terminali, quattro processi, quindi ho quattro istanze del mio script, allo stesso tempo, elaborando quelle immagini e il il lavoro richiede 1/4 del tempo.

Il secondo problema è che ho perso tempo dividendo le immagini e i batch e copiando lo script in quattro directory, aprendo 4 finestre terminali, bla bla ...

Come si fa con uno script, senza dover dividere nulla?

Intendo due cose: prima come faccio da uno script bash, eseguo un processo in background? (basta aggiungere & fino alla fine?) Secondo: come posso interrompere l'invio di attività in background dopo aver inviato le quarte attività e mettere lo script in attesa fino alla fine delle attività? Voglio dire, basta inviare una nuova attività in background al termine di una attività, mantenendo sempre 4 attività in parallelo? se non lo faccio, il loop genererà miliardi di attività in background e la CPU si ostruirà.

Se ne hai una copia xargsche supporta l'esecuzione parallela con -P, puoi semplicemente farlo

printf '%s\0' *.png | xargs -0 -I {} -P 4 ./pngout -s0 {} R{}

Per altre idee, la wiki di Wooledge Bash ha una sezione nell'articolo sulla gestione dei processi che descrive esattamente ciò che desideri.

Oltre alle soluzioni già proposte, è possibile creare un makefile che descriva come creare un file compresso da non compresso e utilizzarlo make -j 4per eseguire 4 lavori in parallelo. Il problema è che dovrai nominare i file compressi e non compressi in modo diverso o memorizzarli in directory diverse, altrimenti scrivere una regola di fabbricazione ragionevole sarà impossibile.

Se hai installato GNU Parallel http://www.gnu.org/software/parallel/ puoi farlo:

parallel ./pngout -s0 {} R{} ::: *.png

Puoi installare GNU Parallel semplicemente:

wget http://git.savannah.gnu.org/cgit/parallel.git/plain/src/parallel
chmod 755 parallel
cp parallel sem

Guarda i video introduttivi di GNU Parallel per saperne di più: https://www.youtube.com/playlist?list=PL284C9FF2488BC6D1

Per rispondere alle tue due domande:

• Sì, l'aggiunta e alla fine della riga indica alla shell di avviare un processo in background.
• usando il waitcomando, puoi chiedere alla shell di attendere il completamento di tutti i processi in background prima di procedere ulteriormente.

Ecco lo script modificato in modo che jvenga utilizzato per tenere traccia del numero di processi in background. Quando NB_CONCURRENT_PROCESSESviene raggiunto, lo script verrà reimpostato jsu 0 e attenderà il completamento di tutti i processi in background prima di riprenderne l'esecuzione.

files=(./*.png)
nb_concurrent_processes=4
j=0
for f in "${files[@]}"
do
        echo "Processing $f file..."
        # take action on each file. $f store current file name
        ./pngout -s0 "$f" R"${f/\.\//}" &
        ((++j == nb_concurrent_processes)) && { j=0; wait; }
done