Eseguire un comando una volta per riga di input convogliato?

Voglio eseguire un comando java una volta per ogni partita di ls | grep pattern -. In questo caso, penso di poterlo fare, find pattern -exec java MyProg '{}' \;ma sono curioso del caso generale: esiste un modo semplice per dire "esegui un comando una volta per ogni riga di input standard"? (In pesce o bash.)

Questo è quello che xargsfa.

... | xargs command

La risposta accettata ha l'idea giusta, ma la chiave è passare xargsl' -n1interruttore, che significa "Esegui il comando una volta per riga di output:"

cat file... | xargs -n1 command

Oppure, per un singolo file di input, puoi evitare completamente la pipe cate andare semplicemente con:

<file xargs -n1 command

In Bash o in qualsiasi altra shell in stile Bourne (ash, ksh, zsh, ...):

while read -r line; do command "$line"; done

read -rlegge una singola riga dall'input standard ( readsenza -rinterpretare le barre rovesciate, non lo vuoi). Quindi è possibile effettuare una delle seguenti operazioni:

$ command | while read -r line; do command "$line"; done  

$ while read -r line; do command "$line"; done <file

Sono d'accordo con Keith, xargs è lo strumento più generale per il lavoro.

Di solito uso un approccio in 3 passaggi.

• fai le cose di base fino a quando non hai qualcosa con cui ti piacerebbe lavorare
• preparare la linea con awk in modo che ottenga la sintassi corretta
• poi lascia che xargs lo esegua, forse con l'aiuto di bash.

Ci sono modi più piccoli e veloci, ma questo funziona quasi sempre.

Un semplice esempio:

ls | 
grep xls | 
awk '{print "MyJavaProg --arg1 42 --arg2 "$1"\0"}' | 
xargs -0 bash -c

le prime 2 righe selezionano alcuni file con cui lavorare, quindi awk prepara una bella stringa con un comando da eseguire e alcuni argomenti e $ 1 è il primo input di colonna dalla pipe. E infine mi assicuro che xargs invia questa stringa a bash che la esegue.

È un po 'eccessivo, ma questa ricetta mi ha aiutato in molti posti poiché è molto flessibile.

GNU Parallel è fatto per quel tipo di compiti. L'utilizzo più semplice è:

cat stuff | grep pattern | parallel java MyProg

Guarda il video introduttivo per saperne di più: http://www.youtube.com/watch?v=OpaiGYxkSuQ

Inoltre, while readavvolgi in un guscio di pesce (suppongo che tu voglia un guscio di pesce, considerando che hai usato l' etichetta di pesce ).

command | while read line
    command $line
end

Pochi punti da notare.

• readnon prende -rargomento e non interpreta le tue barre rovesciate, al fine di semplificare il caso d'uso più comune.
• Non è necessario citare $line, poiché a differenza di bash, il pesce non separa le variabili per spazi.
• commanddi per sé è un errore di sintassi (per catturare tale uso di argomenti segnaposto). Sostituiscilo con il comando reale.

Se devi controllare dove esattamente l'argomento di input è inserito nella tua riga di comando o se devi ripeterlo più volte allora devi usare xargs -I{}.

Creare una struttura di cartelle vuota another_folderche rispecchi le sottocartelle nella directory corrente:

    ls -1d ./*/ | xargs -I{} mkdir another_folder/{}

Applicare un'operazione su un elenco di file proveniente da stdin, in questo caso eseguire una copia di ciascun .htmlfile aggiungendo .bakun'estensione:

    find . -iname "*.html" | xargs -I{} cp {} {}.bak

Dalla xargspagina man per MacOS / BSD :

 -I replstr
         Execute utility for each input line, replacing one or more occurrences of
         replstr in up to replacements (or 5 if no -R flag is specified) arguments
         to utility with the entire line of input.  The resulting arguments, after
         replacement is done, will not be allowed to grow beyond 255 bytes; this is
         implemented by concatenating as much of the argument containing replstr as
         possible, to the constructed arguments to utility, up to 255 bytes.  The
         255 byte limit does not apply to arguments to utility which do not contain
         replstr, and furthermore, no replacement will be done on utility itself.
         Implies -x.

xargsPagina man di Linux :

   -I replace-str
          Replace  occurrences of replace-str in the initial-
          arguments with names read from standard input.  Al‐
          so,  unquoted  blanks do not terminate input items;
          instead the separator  is  the  newline  character.
          Implies -x and -L 1.

Quando ho a che fare con input potenzialmente non autorizzati, mi piace vedere l'intero lavoro "spiegato" riga per riga per l'ispezione visiva prima di eseguirlo (soprattutto quando è qualcosa di distruttivo come la pulizia della cassetta postale delle persone).

Quindi quello che faccio è generare un elenco di parametri (ad es. Nomi utente), inviarlo a un file in modo un record per riga, in questo modo:

johndoe  
jamessmith  
janebrown  

Quindi apro l'elenco vime lo manipolo con la ricerca e sostituisco le espressioni fino a quando non ottengo un elenco di comandi completi che devono essere eseguiti, in questo modo:

/bin/rm -fr /home/johndoe  
/bin/rm -fr /home/jamessmith 

In questo modo se la tua regex è incompleta, vedrai in quale comando avrà potenziali problemi (es. /bin/rm -fr johnnyo connor). In questo modo puoi annullare il tuo regex e riprovare con una versione più affidabile di esso. La menomazione dei nomi è nota per questo, perché è difficile occuparsi di tutti i casi limite come Van Gogh, O'Connors, St. Clair, Smith-Wesson.

Avere set hlsearchè utile per farlo in vimquanto evidenzierà tutte le partite, quindi puoi facilmente individuare se non corrisponde, o corrisponde in modo non intenzionale.

Una volta che il tuo regex è perfetto e cattura tutti i casi che puoi testare / pensare, quindi di solito lo converto in un'espressione sed in modo che possa essere completamente automatizzato per un'altra corsa.

Per i casi in cui il numero di righe di input ti impedisce di eseguire un'ispezione visiva, ti consiglio vivamente di fare eco al comando sullo schermo (o meglio ancora, un registro) prima che venga eseguito, quindi se si guasta, sai esattamente quale comando ha causato fallire. Quindi puoi tornare al regex originale e modificarlo di nuovo.

Se un programma ignora la pipe ma accetta i file come argomenti, puoi semplicemente puntarlo al file speciale /dev/stdin.

Non ho familiarità con Java, ma ecco un esempio di come lo faresti per Bash:

$ echo $'pwd \n cd / \n pwd' |bash /dev/stdin
/home/rolf
/

$ È necessario affinché bash si traduca \nin newline. Non sono sicuro del perché.

Preferisco questo: consentire comandi a più righe e cancellare il codice

find -type f -name filenam-pattern* | while read -r F
do
  echo $F
  cat $F | grep 'some text'
done

rif https://stackoverflow.com/a/3891678/248616

Ecco un copypaste che puoi usare immediatamente:

cat list.txt | xargs -I{} command parameter {} parameter

L'elemento dall'elenco verrà posizionato dove si trova {} e il resto del comando e dei parametri verranno utilizzati così come sono.