Esecuzione di migliaia di processi in background di arricciatura in parallelo nello script bash

Sto eseguendo migliaia di processi in background di curl in parallelo nel seguente script bash

START=$(date +%s)
for i in {1..100000}
do       
    curl -s "http://some_url_here/"$i  > $i.txt&
    END=$(date +%s)
    DIFF=$(( $END - $START ))
    echo "It took $DIFF seconds"
done

Ho un server dedicato Corei7-920 da 49Gb (non virtuale).

Traccio il consumo di memoria e la CPU tramite topcomando e sono lontani dai limiti.

Sto usando ps aux | grep curl | wc -lper contare il numero degli attuali processi di arricciatura . Questo numero aumenta rapidamente fino a 2-4 migliaia e quindi inizia a diminuire continuamente.

Se aggiungo un semplice parsing tramite piping curl a awk ( curl | awk > output), il numero di processi di curl aumenta fino a 1-2 migliaia e poi diminuisce a 20-30 ...

Perché il numero di processi diminuisce in modo così drammatico? Dove sono i limiti di questa architettura?

A seguito della domanda rigorosa:

mycurl() {
    START=$(date +%s)
    curl -s "http://some_url_here/"$1  > $1.txt
    END=$(date +%s)
    DIFF=$(( $END - $START ))
    echo "It took $DIFF seconds"
}
export -f mycurl

seq 100000 | parallel -j0 mycurl

Più breve se non è necessario il testo del bollettino attorno ai tempi:

seq 100000 | parallel -j0 --joblog log curl -s http://some_url_here/{} ">" {}.txt
cut -f 4 log

Se vuoi eseguire 1000s in parallelo, colpirai alcuni limiti (come gli handle di file). Sollevare ulimit -n o /etc/security/limits.conf può essere d'aiuto.

for i in {1..100000}

Ci sono solo 65536 porte. Accelerare questo.

for n in {1..100000..1000}; do   # start 100 fetch loops
        for i in `eval echo {$n..$((n+999))}`; do
                echo "club $i..."
                curl -s "http://some_url_here/"$i  > $i.txt
        done &
        wait
done

(modifica: (modifica: elimina l'asserzione gravemente datata sui limiti del sistema operativo e aggiungi i mancanti )echocurl
wait