Domande taggate «parallelism»

Esecuzione di attività in parallelo, per utilizzare più processori

1
Come posso ottenere l'indice del "processore parallelo" xargs?
Supponiamo di avere due risorse, denominate 0e 1, alle quali è possibile accedere esclusivamente. Esiste un modo per recuperare l '"indice" del "processore parallelo" che viene xargsavviato per utilizzarlo come servizio gratuito di mutua esclusione? Ad esempio, si consideri il seguente calcolo parallelizzato: $ echo {1..8} | xargs -d " …
9
Diffondere lo stdin su processi paralleli
Ho un compito che elabora un elenco di file su stdin. Il tempo di avvio del programma è notevole e il tempo impiegato da ciascun file varia notevolmente. Voglio generare un numero considerevole di questi processi, quindi inviare il lavoro a quelli che non sono occupati. Esistono diversi strumenti a …
1
È possibile eseguire due comandi contemporaneamente in uno script di shell?
So che sulla riga di comando posso usare &per eseguire un comando in background. Ma mi chiedo se posso farlo in una sceneggiatura. Ho una sceneggiatura come questa: date_stamp=$(date +"%Y-%m-%d" --date='yesterday') shopt -s extglob cd /my/working/directory/ sh ./stay/get_it_ios.sh sh ./stay/get_it_mix.sh cd stay zip ../stay_$date_stamp.zip ./*201* rm ./stay/!(*py|*sh) E voglio correre …
2
Come parallelizzare dd?
Attualmente sto riscontrando problemi con ddinvocato con un file sparse come input ( if) e un file come output ( of) con conv=sparse. ddsembra che stia utilizzando un solo core della CPU ( Intel(R) Core(TM) i7-3632QM CPU @ 2.20GHz4 core + 4 Intel Hyperthreads) (100% di 1 core), quindi mi …
10 linux  dd  parallelism 
1
Utilizzando solo un core CPU
Ho bisogno di eseguire test delle prestazioni per il mio programma simultaneo e il mio requisito è che dovrebbe essere eseguito su un solo core della CPU. (Non voglio collaborare con i thread - voglio sempre avere un cambio di contesto). Quindi ho due domande: La soluzione migliore: come firmare …
3
corretto uso parallelo di xargs
Sto usando xargsper chiamare uno script Python per elaborare circa 30 milioni di piccoli file. Spero di usare xargsper parallelizzare il processo. Il comando che sto usando è: find ./data -name "*.json" -print0 | xargs -0 -I{} -P 40 python Convert.py {} > log.txt Fondamentalmente, Convert.pyleggerà in un piccolo file …
1
Multithreading / Forking in uno script bash
Ho scritto uno script bash che è nel seguente formato: #!/bin/bash start=$(date +%s) inFile="input.txt" outFile="output.csv" rm -f $inFile $outFile while read line do -- Block of Commands done < "$inFile" end=$(date +%s) runtime=$((end-start)) echo "Program has finished execution in $runtime seconds." Il whileloop leggerà $inFile, eseguirà alcune attività sulla linea …
2
Parallelizzazione di un ciclo for
Voglio parallelizzare i forloop del seguente codice. Come fare questo? #!/bin/bash N=$1 n=$2 for (( i=1; i<=$N; i++ )); do min=100000000000000 //set min to some garbage value for (( j=1; j<=$n; j++ )); do val=$(/path/to/a.out) val2=`echo $val | bc` if (( $val2 < $min )); then min=$val2; fi done arr=("${arr[@]}" …
2
Bash: multiplo per loop in background
È questo il modo corretto di avviare più processi sequenziali in background? for i in {1..10}; do for j in {1..10}; do run_command $i $j; done & done; Tutti jdovrebbero essere elaborati uno dopo l'altro per un dato i, ma tutti idovrebbero essere elaborati contemporaneamente.
2
GNU Parallel di Poor Man implementato in ksh?
Mi piacerebbe usare la funzione di GNU parallel dove può eseguire il comando e l'elenco è alimentato in parallelo e sputarlo dopo tutto, tuttavia, non voglio installare GNU parallelo su tutti i nostri server. O forse una versione parallela di xargs? Esiste un'implementazione ksh di ciò che fa GNU Parallel? …
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.