Elaborazione di script Bash in numero limitato di comandi in parallelo

Ho uno script bash che assomiglia a questo:

#!/bin/bash
wget LINK1 >/dev/null 2>&1
wget LINK2 >/dev/null 2>&1
wget LINK3 >/dev/null 2>&1
wget LINK4 >/dev/null 2>&1
# ..
# ..
wget LINK4000 >/dev/null 2>&1

Ma l'elaborazione di ogni riga fino al termine del comando, quindi il passaggio a quella successiva richiede molto tempo, voglio elaborare ad esempio 20 righe contemporaneamente, quindi quando hanno terminato vengono elaborate altre 20 righe.

Ho pensato di wget LINK1 >/dev/null 2>&1 &inviare il comando in background e continuare, ma ci sono 4000 righe qui, questo significa che avrò problemi di prestazioni, per non parlare del fatto che sono limitati in quanti processi dovrei iniziare contemporaneamente, quindi non è un buon idea.

Una soluzione a cui sto pensando in questo momento è verificare se uno dei comandi è ancora in esecuzione o meno, ad esempio dopo 20 righe posso aggiungere questo ciclo:

while [  $(ps -ef | grep KEYWORD | grep -v grep | wc -l) -gt 0 ]; do
sleep 1
done

Naturalmente in questo caso dovrò aggiungere e alla fine della linea! Ma sento che questo non è il modo giusto per farlo.

Quindi, come posso effettivamente raggruppare ogni 20 righe insieme e aspettare che finiscano prima di passare alle 20 righe successive, questo script è generato dinamicamente in modo che io possa fare tutto ciò che voglio su di essa mentre viene generato, ma NON DEVE usa wget, era solo un esempio, quindi qualsiasi soluzione specifica per wget non mi farà del bene.

Usa il waitbuilt-in:

process1 &
process2 &
process3 &
process4 &
wait
process5 &
process6 &
process7 &
process8 &
wait

Per l'esempio sopra, 4 processi process1... process4verrebbero avviati in background e la shell aspetterebbe che vengano completati prima di iniziare il set successivo.

Dal manuale GNU :

wait [jobspec or pid ...]

Attendere fino a quando il processo figlio specificato da ciascun pid ID processo o specifica processo jobpec si chiude e restituisce lo stato di uscita dell'ultimo comando atteso. Se viene fornita una specifica lavoro, vengono attesi tutti i processi nel lavoro. Se non viene fornito alcun argomento, vengono attesi tutti i processi figlio attualmente attivi e lo stato di restituzione è zero. Se né jobspec né pid specificano un processo figlio attivo della shell, lo stato di ritorno è 127.

Vedi parallelo . La sua sintassi è simile a xargs, ma esegue i comandi in parallelo.

In effetti, xargs puoi eseguire comandi in parallelo per te. C'è una speciale -P max_procsopzione da riga di comando per questo. Vedere man xargs.

È possibile eseguire 20 processi e utilizzare il comando:

wait

Lo script attenderà e continuerà al termine di tutti i processi in background.