Unix & Linux gnu-parallel

10

Ho cercato di parallelizzare il seguente script, in particolare ciascuna delle tre istanze del ciclo FOR, usando GNU Parallel, ma non sono stato in grado di farlo. I 4 comandi contenuti all'interno del ciclo FOR vengono eseguiti in serie, ogni ciclo impiega circa 10 minuti. #!/bin/bash kar='KAR5' runList='run2 run3 run4' …

109 shell-script gnu-parallel

1

GNU parallelo vs & (intendo sfondo) vs xargs -P

Sono confuso circa la differenza o il vantaggio (se presente) di eseguire una serie di attività in uno .shscript utilizzandoGNU parallel Ad esempio la risposta di Ole Tange : parallel ./pngout -s0 {} R{} ::: *.png piuttosto che dire attraversandoli in sequenza mettendoli in secondo piano &. Ad esempio la …

40 shell-script background-process xargs gnu-parallel

6

Parallelizza rsync usando GNU Parallel

Ho usato uno rsyncscript per sincronizzare i dati su un host con i dati su un altro host. I dati hanno numerosi file di piccole dimensioni che contribuiscono a quasi 1,2 TB. Per sincronizzare quei file, ho usato il rsynccomando come segue: rsync -avzm --stats --human-readable --include-from proj.lst /data/projects REMOTEHOST:/data/ …

18 linux rhel rsync gnu-parallel

6

utilizzando parallel per elaborare file di input univoci in file di output univoci

Ho un problema di scripting della shell in cui mi viene fornita una directory piena di file di input (ogni file contenente molte righe di input) e devo elaborarli singolarmente, reindirizzando ciascuno dei loro output su un file univoco (ovvero file_1.input necessario per essere catturato in file_1.output e così via). …

18 scripting parallelism gnu-parallel

2

Perché il parallelo (GNU?) Fallisce silenziosamente e come posso ripararlo?

In uno script più grande per postelaborare alcuni dati di simulazione avevo la seguente riga: parallel bnzip2 -- *.bz2 Che, se ho capito parallelbene (e potrei non farlo), dovrebbe eseguire thread n-core del programma su tutti i file con l'estensione elencata. Potresti notare che ho scritto male il comando bunzip2. …

15 gnu-parallel moreutils-parallel

3

Come dovrei usare GNU Parallel per questo ciclo while?

Quindi ho un ciclo while: cat live_hosts | while read host; do \ sortstuff.sh -a "$host" > sortedstuff-"$host"; done Ma questo può richiedere molto tempo. Come dovrei usare GNU Parallel per questo ciclo while?

12 shell-script files gnu-parallel

1

Perché GNU parallel non funziona con "bash -c"?

% echo -e '1\n2' | parallel "bash -c 'echo :\$1' '' {}" :1 :2 % echo -e '1\n2' | parallel bash -c 'echo :\$1' '' {} % Mi aspetto che la seconda riga si comporti allo stesso modo.

9 bash shell quoting gnu-parallel

4

Usare GNU in parallelo con Split

Sto caricando un file piuttosto gigantesco in un database postgresql. Per fare ciò uso prima splitnel file per ottenere file più piccoli (30 Gb ciascuno) e quindi carico ogni file più piccolo nel database usando GNU Parallele psql copy. Il problema è che sono necessarie circa 7 ore per dividere …

9 files split gnu-parallel

3

Come utilizzare GNU parallel in modo efficace

Supponiamo di voler trovare tutte le corrispondenze nel file di testo compresso: $ gzcat file.txt.gz | pv --rate -i 5 | grep some-pattern pv --rateutilizzato qui per misurare la portata del tubo. Sulla mia macchina è di circa 420 Mb / s (dopo la decompressione). Ora sto provando a fare …

8 shell gnu-parallel

2

GNU Parallel di Poor Man implementato in ksh?

Mi piacerebbe usare la funzione di GNU parallel dove può eseguire il comando e l'elenco è alimentato in parallelo e sputarlo dopo tutto, tuttavia, non voglio installare GNU parallelo su tutti i nostri server. O forse una versione parallela di xargs? Esiste un'implementazione ksh di ciò che fa GNU Parallel? …

8 ksh gnu parallelism gnu-parallel

Domande taggate «gnu-parallel»