Esegue le richieste di arricciatura in parallelo in bash

23

Qual è il modo migliore per eseguire 5 curlrichieste parallelda uno script bash? Non posso eseguirli in serie per motivi di prestazioni.

— Justin
fonte

1

Hai provato a cercare parti della tua soluzione? Un'altra domanda di SF sembra essere esattamente quello che stai chiedendo: serverfault.com/questions/248143/…

— Theuni

stackoverflow.com/questions/8634109/...

— Ciro Santilli新疆改造中心法轮功六四事件

34

Utilizzare '&' dopo un comando per eseguire il background di un processo e 'wait' per attendere che finiscano. Usa '()' attorno ai comandi se devi creare una sotto-shell.

#!/bin/bash

curl -s -o foo http://example.com/file1 && echo "done1" &
curl -s -o bar http://example.com/file2 && echo "done2" & 
curl -s -o baz http://example.com/file3 && echo "done3" &

wait

— Anton Cohen
fonte

Semplice, ma efficace per il primo passo. Si scatena rapidamente quando le cose devono cambiare, come il nome host o il numero di ripetizioni. Grazie.

— Chris,

10

xargs ha un parametro "-P" per eseguire processi in parallelo. Per esempio:

wget -nv http://en.wikipedia.org/wiki/Linux -O- | egrep -o "http://[^[:space:]]*.jpg" | xargs -P 10 -r -n 1 wget -nv

Riferimento: http://www.commandlinefu.com/commands/view/3269/parallel-file-downloading-with-wget

— Fan___
fonte

6

Uso gnu parallel per compiti come questo.

— Dennis Kaarsemaker
fonte

4

Può fornire un esempio per chiamare curlcon gnu parallel?

— 13

Sì, il parallelo sembra molto buono ed è facile inviare la stessa richiesta 100 volte. Ma un esempio su come utilizzare parallelamente all'invio di 100 diverse richieste di arricciatura renderebbe migliore questa risposta.

— рüффп

1

Ad esempio: gist.github.com/CMCDragonkai/5914e02df62137e47f32

— mirrorw

0

Ecco un curlesempio con xargs:

$ cat URLS.txt | xargs -P 10 -n 1 curl

L'esempio sopra dovrebbe curlciascuno degli URL in parallelo, 10 alla volta. Il -n 1è là in modo che xargsutilizza solo 1 riga dal URLS.txtfile per curll'esecuzione.

Cosa fanno ciascuno dei parametri di xargs:

$ man xargs

-P maxprocs
             Parallel mode: run at most maxprocs invocations of utility at once.
-n number
             Set the maximum number of arguments taken from standard input for 
             each invocation of utility.  An invocation of utility will use less 
             than number standard input arguments if the number of bytes 
             accumulated (see the -s option) exceeds the specified size or there 
             are fewer than number arguments remaining for the last invocation of 
             utility.  The current default value for number is 5000.

— Charlie Le
fonte