Come eseguire processi paralleli e combinare gli output al termine di entrambi

Ho uno script di shell bash in cui installo alcuni dati attraverso circa 5 o 6 programmi diversi, quindi i risultati finali in un file delimitato da tabulazioni.

Quindi faccio di nuovo lo stesso per un set di dati simile separato e l'output in un secondo file.

Quindi entrambi i file vengono inseriti in un altro programma per l'analisi comparativa. ad es. per semplificare

Data1 | this | that |theother | grep |sed | awk |whatever > Data1Res.csv
Data2 | this | that |theother | grep |sed | awk |whatever > Data2Res.csv
AnalysisProg -i Data1res.csv Data2res.csv

La mia domanda è: come posso eseguire step1 e step2 contemporaneamente (es. Usando &) ma avviare step3 (AnalysisProg) solo quando entrambi sono completi?

grazie

ps AnalysisProg non funzionerà su uno stream o su fifo.

Usa wait. Per esempio:

Data1 ... > Data1Res.csv &
Data2 ... > Data2Res.csv &
wait
AnalysisProg

volontà:

• eseguire i tubi Data1 e Data2 come processi in background
• aspetta che finiscano entrambi
• eseguire AnalysisProg.

Vedi, ad esempio, questa domanda .

La risposta di cxw è senza dubbio la soluzione preferibile, se hai solo 2 file. Se i 2 file sono solo esempi e in realtà hai 10000 file, la soluzione '&' non funzionerà, in quanto sovraccaricherà il tuo server. Per questo è necessario uno strumento come GNU Parallel:

ls Data* | parallel 'cat {} | this | that |theother | grep |sed | awk |whatever > {}res.csv
AnalysisProg -i *res.csv

Per saperne di più su GNU Parallel:

• Guarda il video introduttivo per una rapida introduzione: https://www.youtube.com/playlist?list=PL284C9FF2488BC6D1
• Cammina attraverso il tutorial (man parallel_tutorial). La tua riga di comando ti adorerà per questo.

Un modo per farlo potrebbe essere simile a:

AnalysisProg <<PREPROCESS /dev/stdin
$( 
{   process1=$( pipe | line | 1 >&2 & echo $! )
    process2=$( pipe | line | 2 >&2 & echo $! )
    while ps -p $process1 $process2 >/dev/null; do
        sleep 1
    done
} 2>&1
)
#END
PREPROCESS

In questo modo si eseguono le background di entrambe le pipeline ma si attende ancora che finiscano l'esecuzione prima di combinare il loro output in stdin che viene valutato in un documento qui e consegnato ad AnalysisProg. Se puoi usarlo waitè anche meglio del while psciclo, ma, a seconda della shell, waitpuò obiettare se gli chiedi di aspettare un processo che non è figlio della shell corrente.

Si noti inoltre che il metodo precedente raccoglierà l'output, quindi entrambi i processi verranno scritti contemporaneamente. Se invece li volessi separati, o se li aggiungessi, potresti fare:

AnalysisProg 3<<PREPROCESS /dev/fd/3 /dev/stderr
$(
process1=$(... >&2 ...) 2>/dev/fd/3
...
} 3>/dev/fd/3 2>/dev/stderr
)

Ho dimostrato questi concetti prima. Probabilmente le migliori demo sono qui e qui .

Prova a usare questo.

rm -f Data1Res.csv
rm -f Data2Res.csv
Data1 | this | that |theother | grep |sed | awk |whatever > Data1Res.csv &
Data2 | this | that |theother | grep |sed | awk |whatever > Data2Res.csv &
while true
do
  ps aux | grep -v grep | grep -i -E 'Data1Res.csv|Data2Res.csv' &> /dev/null
  if [ $? -ne 0 ]
  then
    AnalysisProg -i Data1res.csv Data2res.csv
    exit 0
  fi
done