Chiamare più script bash ed eseguirli in parallelo, non in sequenza

Supponiamo che io ho tre (o più) script bash: script1.sh, script2.sh, e script3.sh. Vorrei chiamare tutti e tre questi script ed eseguirli in parallelo . Un modo per farlo è semplicemente eseguire i seguenti comandi:

nohup bash script1.sh &
nohup bash script2.sh &
nohup bash script3.sh &

(In generale, il completamento degli script potrebbe richiedere diverse ore o giorni, quindi vorrei usarlo in nohupmodo che continuino a funzionare anche se la mia console si chiude.)

Ma c'è un modo per eseguire quei tre comandi in parallelo con una singola chiamata?

Stavo pensando a qualcosa del genere

nohup bash script{1..3}.sh &

ma questo sembra eseguire script1.sh, script2.she script3.shin sequenza, non in parallelo.

for((i=1;i<100;i++)); do nohup bash script${i}.sh & done

Un modo migliore sarebbe usare GNU Parallel . GNU parallel è semplice e con esso possiamo controllare il numero di lavori da eseguire in parallelo con un maggiore controllo sui lavori.

Nel comando seguente, script{1..3}.shviene espanso e vengono inviati come argomenti bashin parallelo. Qui -j0indica che devono essere eseguiti quanti più lavori possibile. Per impostazione predefinita, parallelesegue un processo per un core CPU.

$ parallel -j0 bash :::: <(ls script{1..3}.sh)

E puoi anche provare a usare

$ parallel -j0 bash ::: script{1..3}.sh

Durante l'esecuzione del secondo metodo se ricevi un messaggio di errore, significa che l' --tollefopzione è impostata /etc/parallel/confige che deve essere eliminata e tutto funzionerà correttamente.

Puoi leggere la GNU Parallelspagina man qui per opzioni più ricche.

E nel caso in cui i lavori vengano eseguiti da una macchina remota, utilizzare meglio in screenmodo che la sessione non venga chiusa a causa di problemi di rete. nohupnon è necessario, poiché le versioni recenti di bash arrivano con huponexitas offe questo impedirà alla shell genitore di inviare HUPsegnali ai suoi figli durante la sua uscita. Nel caso in cui non sia disinserito, fallo con

$ shopt -u huponexit  

Possiamo anche usare xargsper eseguire più script in parallelo.

$ ls script{1..5}.sh|xargs -n 1 -P 0 bash

qui ogni script viene passato a bash come argomento separatamente. -P 0indica che il numero di processi paralleli può essere il più possibile. È anche più sicuro che usando bash default job control feature (&).

Una soluzione a linea singola :

$ nohup bash script1.sh & nohup bash script2.sh & nohup bash script3.sh &

Meno facetiously, basta usare uno script wrapper:

$ cat script.sh
#!/usr/bin/env bash
script1.sh &
script2.sh &
script3.sh &
$ nohup script.sh &

Oppure passaci sopra:

for script in dir/*.sh
do
    nohup bash "$script" &
done

Se stai cercando di risparmiare un po 'di sforzo di battitura

eval "nohup bash "script{1..3}.sh" &"

O ripensandoci, forse no

Dai un'occhiata a questo strumento: https://github.com/wagoodman/bashful

Di 'che hai mytasks.yamlcon

tasks:
    - name: A title for some tasks
      parallel-tasks:
        - cmd: ./script1.sh
        - cmd: ./script2.sh -x an-arg
        - cmd: ./script3.sh -y some-other-arg

E lo esegui così:

nohup bashful run mytasks.yaml

I tuoi script verrebbero eseguiti in parallelo con una barra di avanzamento verticale (+ eta se l'hai già eseguita prima e il tempo è deterministico). Puoi modificare il numero di attività che desideri eseguire in parallelo se inizi a eseguire più di un semplice 3 qui:

config:
    max-parallel-commands: 6
tasks:
    ...

Disclaimer: sono l'autore.

Sto suggerendo un'utilità molto più semplice che ho appena scritto. Attualmente è chiamato par, ma presto verrà rinominato in parl o pll, non ho ancora deciso.

https://github.com/k-bx/par

L'API è semplice come:

par "script1.sh" "script2.sh" "script3.sh"

Usa parallelshell

parallelshell "echo 1" "echo 2" "echo 3"

https://github.com/keithamus/parallelshell