Ho un file chiamato /tmp/urlFiledove ogni riga rappresenta un URL. Sto provando a leggere dal file come segue:

cat "/tmp/urlFile" | while read url
do
    echo $url
done

Se l'ultima riga non termina con un carattere di nuova riga, tale riga non verrà letta. Mi chiedevo perché?

È possibile leggere tutte le righe, indipendentemente dal fatto che siano terminate con una nuova riga o no?

Faresti:

while IFS= read -r url || [ -n "$url" ]; do
  printf '%s\n' "$url"
done < url.list

(effettivamente, quel loop aggiunge nuovamente la nuova riga mancante sull'ultima riga (non)).

Guarda anche:

• Perché usare un loop di shell per elaborare il testo è considerato una cattiva pratica?
• Capire "IFS = read -r line"?
• Perché printf è meglio di eco?

Questo sembra essere risolto in parte con readarray -t:

readarray -t urls "/tmp/urlFile"
for url in "${urls[@]}"; do
    printf '%s\n' "$url"
done

Si noti tuttavia che, sebbene funzioni per file di dimensioni ragionevoli, questa soluzione introduce un potenziale nuovo problema con file molto grandi: legge prima il file in un array che deve essere ripetuto. Per file molto grandi, ciò potrebbe richiedere molto tempo e memoria, potenzialmente fino al punto di errore.

Per definizione , un file di testo è costituito da una sequenza di righe. Una riga termina con un carattere di nuova riga. Pertanto un file di testo termina con un carattere di nuova riga, a meno che non sia vuoto.

L' readintegrato è pensato solo per leggere file di testo. Non stai passando un file di testo, quindi non puoi sperare che funzioni senza problemi. La shell legge tutte le righe: ciò che sta saltando sono i caratteri extra dopo l'ultima riga.

Se si dispone di un file di input potenzialmente non valido che potrebbe mancare all'ultima riga, è possibile aggiungere una nuova riga ad esso, solo per essere sicuri.

{ cat "/tmp/urlFile"; echo; } | …

I file che dovrebbero essere file di testo ma che mancano della nuova riga finale vengono spesso prodotti dagli editor di Windows. Questo di solito va in combinazione con i finali di linea di Windows, che sono CR LF, al contrario di Lx di Unix. I caratteri CR sono raramente utili ovunque e non possono apparire negli URL in ogni caso, quindi è necessario rimuoverli.

{ <"/tmp/urlFile" tr -d '\r'; echo; } | …

Nel caso in cui il file di input sia ben formato e termina con una nuova riga, viene echoaggiunta una riga vuota aggiuntiva. Poiché gli URL non possono essere vuoti, ignora solo le righe vuote.

Si noti inoltre che readnon legge le righe in modo semplice. Ignora gli spazi bianchi iniziali e finali, che per un URL è probabilmente desiderabile. Tratta la barra rovesciata alla fine di una linea come un carattere di escape, facendo sì che la linea successiva venga unita al primo meno la sequenza barra rovesciata-newline, il che non è assolutamente desiderabile. Quindi dovresti passare l' -ropzione a read. È molto, molto raro readessere la cosa giusta piuttosto che read -r.

{ <"/tmp/urlFile" tr -d '\r'; echo; } | while read -r url
do
  if [ -z "$url" ]; then continue; fi
  …
done

Bene, readrestituisce un valore errato se incontra la fine del file prima di una nuova riga, ma anche se lo fa, assegna comunque il valore letto. Quindi, possiamo verificare se la chiamata finale di readrestituisce qualcosa di diverso da una linea vuota ed elaborarla come di consueto. Quindi, esci dal ciclo solo dopo che readrestituisce false e la riga è vuota:

#!/bin/sh
while IFS= read -r line || [ "$line" ]; do 
    echo "line: $line"
done

$ printf 'foo\nbar' | sh ./read.sh 
line: foo
line: bar
$ printf 'foo\nbar\n' | sh ./read.sh 
line: foo
line: bar

Un altro modo sarebbe come questo:

Quando read raggiunge la fine del file anziché la fine della riga, legge i dati e li assegna alle variabili, ma esce con uno stato diverso da zero. Se il tuo ciclo è costruito "mentre leggi; fai cose; fatto

Quindi, invece di testare direttamente lo stato dell'uscita di lettura, testare un flag e fare in modo che il comando di lettura abbia impostato quel flag all'interno del corpo del loop. In questo modo, indipendentemente dallo stato di uscita delle letture, viene eseguito l'intero corpo del loop, poiché read era solo uno degli elenchi di comandi nel loop come un altro, non un fattore decisivo se il loop verrà eseguito affatto.

DONE=false
until $DONE ;do
read || DONE=true
echo $REPLY 
done < /tmp/urlFile

Riferito da qui .

cat "/ tmp / urlFile" | mentre leggi url
fare
    echo $ url
fatto

Questo è un uso inutile dicat .

Ironia della sorte, qui puoi sostituire il catprocesso con qualcosa di veramente utile: uno strumento che i sistemi POSIX hanno per aggiungere la nuova riga mancante e trasformare il file in un file di testo POSIX appropriato.

sed -e '$ a \' "/ tmp / urlFile" | mentre leggi -r url
fare
    printf "% s \ n" "$ {url}"
fatto

Ulteriori letture

• Come aggiungere una nuova riga alla fine di un file?