Come posso scorrere tutte le righe di un file di testo con Bash ?

Con questo script:

echo "Start!"
for p in (peptides.txt)
do
    echo "${p}"
done

Ottengo questo output sullo schermo:

Start!
./runPep.sh: line 3: syntax error near unexpected token `('
./runPep.sh: line 3: `for p in (peptides.txt)'

(Più tardi voglio fare qualcosa di più complicato $prispetto all'output sullo schermo.)

La variabile d'ambiente SHELL è (da env):

SHELL=/bin/bash

/bin/bash --version produzione:

GNU bash, version 3.1.17(1)-release (x86_64-suse-linux-gnu)
Copyright (C) 2005 Free Software Foundation, Inc.

cat /proc/version produzione:

Linux version 2.6.18.2-34-default (geeko@buildhost) (gcc version 4.1.2 20061115 (prerelease) (SUSE Linux)) #1 SMP Mon Nov 27 11:46:27 UTC 2006

Il file peptides.txt contiene:

RKEKNVQ
IPKKLLQK
QYFHQLEKMNVK
IPKKLLQK
GDLSTALEVAIDCYEK
QYFHQLEKMNVKIPENIYR
RKEKNVQ
VLAKHGKLQDAIN
ILGFMK
LEDVALQILL

Un modo per farlo è:

while read p; do
  echo "$p"
done <peptides.txt

Come sottolineato nei commenti, ciò ha gli effetti collaterali del taglio degli spazi bianchi iniziali, dell'interpretazione delle sequenze di barre rovesciate e del salto dell'ultima riga se manca un avanzamento di riga finale. Se queste sono preoccupazioni, puoi fare:

while IFS="" read -r p || [ -n "$p" ]
do
  printf '%s\n' "$p"
done < peptides.txt

Eccezionalmente, se il corpo del loop può leggere dall'input standard , è possibile aprire il file utilizzando un descrittore di file diverso:

while read -u 10 p; do
  ...
done 10<peptides.txt

Qui, 10 è solo un numero arbitrario (diverso da 0, 1, 2).

cat peptides.txt | while read line 
do
   # do something with $line here
done

e la variante one-liner:

cat peptides.txt | while read line; do something_with_$line_here; done

Queste opzioni salteranno l'ultima riga del file se non vi sono feed di riga finali.

Puoi evitarlo come segue:

cat peptides.txt | while read line || [[ -n $line ]];
do
   # do something with $line here
done

Opzione 1a: ciclo While: linea singola alla volta: reindirizzamento input

#!/bin/bash
filename='peptides.txt'
echo Start
while read p; do 
    echo $p
done < $filename

Opzione 1b: ciclo While: riga singola alla volta:
aprire il file, leggere da un descrittore di file (in questo caso il descrittore di file n. 4).

#!/bin/bash
filename='peptides.txt'
exec 4<$filename
echo Start
while read -u4 p ; do
    echo $p
done

Questo non è meglio di altre risposte, ma è un altro modo per eseguire il lavoro in un file senza spazi (vedi commenti). Trovo che ho spesso bisogno di una riga per cercare gli elenchi nei file di testo senza il passaggio aggiuntivo di utilizzare file di script separati.

for word in $(cat peptides.txt); do echo $word; done

Questo formato mi consente di mettere tutto in una riga di comando. Cambia la parte "echo $ word" come preferisci e puoi emettere più comandi separati da punti e virgola. L'esempio seguente usa i contenuti del file come argomenti in altri due script che potresti aver scritto.

for word in $(cat peptides.txt); do cmd_a.sh $word; cmd_b.py $word; done

Oppure, se hai intenzione di usarlo come un editor di stream (impara sed) puoi scaricare l'output su un altro file come segue.

for word in $(cat peptides.txt); do cmd_a.sh $word; cmd_b.py $word; done > outfile.txt

Ho usato questi come scritto sopra perché ho usato file di testo in cui li ho creati con una parola per riga. (Vedi commenti) Se hai spazi che non vuoi dividere le tue parole / linee, diventa un po 'più brutto, ma lo stesso comando funziona ancora come segue:

OLDIFS=$IFS; IFS=$'\n'; for line in $(cat peptides.txt); do cmd_a.sh $line; cmd_b.py $line; done > outfile.txt; IFS=$OLDIFS

Questo dice alla shell di dividere solo su newline, non su spazi, quindi riporta l'ambiente a quello che era in precedenza. A questo punto, potresti prendere in considerazione l'idea di mettere tutto in uno script di shell piuttosto che comprimerlo in un'unica riga.

Buona fortuna!

Alcune altre cose non coperte da altre risposte:

Lettura da un file delimitato

# ':' is the delimiter here, and there are three fields on each line in the file
# IFS set below is restricted to the context of `read`, it doesn't affect any other code
while IFS=: read -r field1 field2 field3; do
  # process the fields
  # if the line has less than three fields, the missing fields will be set to an empty string
  # if the line has more than three fields, `field3` will get all the values, including the third field plus the delimiter(s)
done < input.txt

Leggere dall'output di un altro comando, usando la sostituzione del processo

while read -r line; do
  # process the line
done < <(command ...)

Questo approccio è migliore rispetto al command ... | while read -r line; do ...fatto che il ciclo while viene eseguito nella shell corrente anziché in una subshell come nel caso di quest'ultima. Vedi il relativo post Una variabile modificata all'interno di un ciclo while non viene ricordata .

Lettura da un input delimitato da null, ad esempio find ... -print0

while read -r -d '' line; do
  # logic
  # use a second 'read ... <<< "$line"' if we need to tokenize the line
done < <(find /path/to/dir -print0)

Leggi correlate: BashFAQ / 020 - Come posso trovare e gestire in modo sicuro i nomi dei file contenenti newline, spazi o entrambi?

Lettura da più di un file alla volta

while read -u 3 -r line1 && read -u 4 -r line2; do
  # process the lines
  # note that the loop will end when we reach EOF on either of the files, because of the `&&`
done 3< input1.txt 4< input2.txt

Basato sulla risposta di @ chepner qui :

-uè un'estensione bash. Per la compatibilità POSIX, ogni chiamata sarebbe simile read -r X <&3.

Lettura di un intero file in un array (versioni di Bash precedenti alla 4)

while read -r line; do
    my_array+=("$line")
done < my_file

Se il file termina con una riga incompleta (newline mancante alla fine), quindi:

while read -r line || [[ $line ]]; do
    my_array+=("$line")
done < my_file

Lettura di un intero file in un array (versioni di Bash 4x e successive)

readarray -t my_array < my_file

o

mapfile -t my_array < my_file

E poi

for line in "${my_array[@]}"; do
  # process the lines
done

• Maggiori informazioni sui comandi reade i readarraycomandi incorporati della shell - GNU

• Altro su IFS- Wikipedia

• BashFAQ / 001 - Come posso leggere un file (flusso di dati, variabile) riga per riga (e / o campo per campo)?

Articoli correlati:

• Creazione di un array da un file di testo in Bash
• Qual è la differenza tra i tuoi approcci alla lettura di un file che ha solo una riga?
• Bash durante il ciclo di lettura estremamente lento rispetto al gatto, perché?

Usa un ciclo while, in questo modo:

while IFS= read -r line; do
   echo "$line"
done <file

Appunti:

1. Se non si imposta IFScorrettamente, si perderà il rientro.

2. Dovresti quasi sempre usare l'opzione -r con read.

3. Non leggere le righe con for

Supponiamo di avere questo file:

$ cat /tmp/test.txt
Line 1
    Line 2 has leading space
Line 3 followed by blank line

Line 5 (follows a blank line) and has trailing space    
Line 6 has no ending CR

Esistono quattro elementi che alterano il significato dell'output del file letto da molte soluzioni Bash:

1. La riga vuota 4;
2. Spazi iniziali o finali su due linee;
3. Mantenere il significato delle singole linee (cioè ogni linea è un record);
4. La riga 6 non è terminata con un CR.

Se si desidera il file di testo riga per riga, comprese le righe vuote e le righe di fine senza CR, è necessario utilizzare un ciclo while e disporre di un test alternativo per la riga finale.

Ecco i metodi che possono modificare il file (rispetto a ciò che catrestituisce):

1) Perdere l'ultima riga e gli spazi iniziali e finali:

$ while read -r p; do printf "%s\n" "'$p'"; done </tmp/test.txt
'Line 1'
'Line 2 has leading space'
'Line 3 followed by blank line'
''
'Line 5 (follows a blank line) and has trailing space'

(Se lo fai while IFS= read -r p; do printf "%s\n" "'$p'"; done </tmp/test.txtinvece, conservi gli spazi iniziali e finali ma perdi comunque l'ultima riga se non termina con CR)

2) Usando la sostituzione del processo con catwill si legge l'intero file in un sorso e si perde il significato delle singole righe:

$ for p in "$(cat /tmp/test.txt)"; do printf "%s\n" "'$p'"; done
'Line 1
    Line 2 has leading space
Line 3 followed by blank line

Line 5 (follows a blank line) and has trailing space    
Line 6 has no ending CR'

(Se rimuovi "da $(cat /tmp/test.txt)te leggi il file parola per parola piuttosto che un sorso. Probabilmente non è quello che intendi ...)

Il modo più robusto e semplice per leggere un file riga per riga e preservare tutta la spaziatura è:

$ while IFS= read -r line || [[ -n $line ]]; do printf "'%s'\n" "$line"; done </tmp/test.txt
'Line 1'
'    Line 2 has leading space'
'Line 3 followed by blank line'
''
'Line 5 (follows a blank line) and has trailing space    '
'Line 6 has no ending CR'

Se desideri rimuovere gli spazi iniziali e commerciali, rimuovi la IFS=parte:

$ while read -r line || [[ -n $line ]]; do printf "'%s'\n" "$line"; done </tmp/test.txt
'Line 1'
'Line 2 has leading space'
'Line 3 followed by blank line'
''
'Line 5 (follows a blank line) and has trailing space'
'Line 6 has no ending CR'

(Un file di testo senza terminazione \n, sebbene abbastanza comune, è considerato rotto in POSIX. Se puoi contare sul trascinamento \nnon è necessario || [[ -n $line ]]nelwhile loop.)

Maggiori informazioni sulle FAQ di BASH

Se non desideri che la lettura venga interrotta dal carattere di nuova riga, usa -

#!/bin/bash
while IFS='' read -r line || [[ -n "$line" ]]; do
    echo "$line"
done < "$1"

Quindi eseguire lo script con il nome file come parametro.

#!/bin/bash
#
# Change the file name from "test" to desired input file 
# (The comments in bash are prefixed with #'s)
for x in $(cat test.txt)
do
    echo $x
done

Ecco il mio esempio di vita reale su come eseguire il loop delle righe di un altro output del programma, controllare le sottostringhe, eliminare le virgolette doppie dalla variabile, utilizzare quella variabile al di fuori del loop. Immagino che molti prima o poi facciano queste domande.

##Parse FPS from first video stream, drop quotes from fps variable
## streams.stream.0.codec_type="video"
## streams.stream.0.r_frame_rate="24000/1001"
## streams.stream.0.avg_frame_rate="24000/1001"
FPS=unknown
while read -r line; do
  if [[ $FPS == "unknown" ]] && [[ $line == *".codec_type=\"video\""* ]]; then
    echo ParseFPS $line
    FPS=parse
  fi
  if [[ $FPS == "parse" ]] && [[ $line == *".r_frame_rate="* ]]; then
    echo ParseFPS $line
    FPS=${line##*=}
    FPS="${FPS%\"}"
    FPS="${FPS#\"}"
  fi
done <<< "$(ffprobe -v quiet -print_format flat -show_format -show_streams -i "$input")"
if [ "$FPS" == "unknown" ] || [ "$FPS" == "parse" ]; then 
  echo ParseFPS Unknown frame rate
fi
echo Found $FPS

Dichiarare la variabile al di fuori del ciclo, impostare il valore e usarlo al di fuori del ciclo richiede la sintassi <<< "$ (...)" . L'applicazione deve essere eseguita in un contesto della console corrente. Le virgolette intorno al comando mantengono le nuove linee del flusso di output.

La corrispondenza del ciclo per le sottostringhe quindi legge la coppia nome = valore , divide la parte destra dell'ultimo = carattere, elimina la prima virgoletta, elimina l'ultima citazione, abbiamo un valore pulito da usare altrove.

Questo arriverà piuttosto tardi, ma con l'idea che possa aiutare qualcuno, sto aggiungendo la risposta. Anche questo potrebbe non essere il modo migliore. headIl comando può essere usato con -nargomento per leggere n righe dall'inizio del file e allo stesso modo il tailcomando può essere letto dal basso. Ora, per recuperare l' ennesima riga dal file, andiamo a capo di n righe , reindirizziamo i dati in modo che seguano solo 1 riga dai dati inviati.

   TOTAL_LINES=`wc -l $USER_FILE | cut -d " " -f1 `
   echo $TOTAL_LINES       # To validate total lines in the file

   for (( i=1 ; i <= $TOTAL_LINES; i++ ))
   do
      LINE=`head -n$i $USER_FILE | tail -n1`
      echo $LINE
   done

@Peter: Questo potrebbe funzionare per te-

echo "Start!";for p in $(cat ./pep); do
echo $p
done

Ciò restituirebbe l'output:

Start!
RKEKNVQ
IPKKLLQK
QYFHQLEKMNVK
IPKKLLQK
GDLSTALEVAIDCYEK
QYFHQLEKMNVKIPENIYR
RKEKNVQ
VLAKHGKLQDAIN
ILGFMK
LEDVALQILL