Come verificare se un file utilizza CRLF o LF senza modificarlo?

Devo eseguire periodicamente un comando che assicuri che alcuni file di testo siano mantenuti in modalità Linux. Sfortunatamente dos2unixmodifica sempre il file, che rovinerebbe i timestamp di file e cartelle e causerebbe scritture non necessarie.

La sceneggiatura che scrivo è in Bash, quindi preferirei le risposte basate su Bash.

Puoi utilizzare dos2unixcome filtro e confrontare il suo output con il file originale:

dos2unix < myfile.txt | cmp -s - myfile.txt

Se l'obiettivo è solo quello di evitare di influenzare il timestamp, dos2unixha un'opzione -ko --keepdateche manterrà lo stesso timestamp. Dovrà comunque scrivere per creare il file temporaneo e rinominarlo, ma i timestamp non saranno interessati.

Se qualsiasi modifica del file è inaccettabile, è possibile utilizzare la seguente soluzione da questa risposta .

find . -not -type d -exec file "{}" ";" | grep CRLF

Puoi provare a grepper il codice CRLF, ottale:

grep -U $'\015' myfile.txt

o esadecimale:

grep -U $'\x0D' myfile.txt

Poiché la versione 7.1dos2unix ha un'opzione -i, --infoper ottenere informazioni sulle interruzioni di riga. Puoi usare dos2unix per verificare quali file necessitano di conversione.

Esempio:

dos2unix -ic *.txt | xargs dos2unix

Primo metodo ( grep):

Contare le righe che contengono un ritorno a capo:

[[ $(grep -c $'\r' myfile.txt) -gt 0 ]] && echo dos

Contare le linee che terminano con un ritorno a capo :

[[ $(grep -c $'\r$' myfile.txt) -gt 0 ]] && echo dos

Questi saranno in genere equivalenti; un ritorno a capo all'interno di una linea (cioè non alla fine) è raro.

Più efficiente:

grep -q $'\r' myfile.txt && echo dos

Questo è più efficiente

1. perché non è necessario convertire il conteggio in una stringa ASCII, quindi riconvertire quella stringa in un numero intero e confrontarlo con zero e
2. perché grep -cdeve leggere l'intero file, contare tutte le occorrenze del pattern, mentre grep -qpuò uscire vedendo la prima occorrenza del pattern.

Appunti:

• In tutto quanto sopra, potrebbe essere necessario aggiungere l' -Uopzione (ovvero, utilizzare -cUo -qU), poiché GNU grepindovina se il file è un file di testo. Se pensa che il file sia un testo, ignora i ritorni a capo alle estremità delle righe, nel tentativo di far $funzionare "correttamente" le espressioni regolari, anche se l'espressione regolare lo è \r$! Specificare -U(o --binary) sovrascrivere questa ipotesi, causando il greptrattamento dei file come binari e il passaggio dei dati al meccanismo di corrispondenza alla lettera, con intatti CR-endings.
• Non farlo grep … $'\r\n' myfile.txt, perché grepconsidera \nun delimitatore di pattern. Proprio come grep -E 'foo|'cerca le righe contenenti fooo una stringa nulla, grep $'\r\n'cerca le righe contenenti \ro una stringa nulla e ogni riga corrisponde a una stringa nulla.

Secondo metodo ( file):

[[ $(file myfile.txt) =~ CRLF ]] && echo dos

perché filesegnala qualcosa del tipo:

myfile.txt: UTF-8 Unicode text, with CRLF line terminators

Variante più sicura:

[[ $(file -b - < myfile.txt) =~ CRLF ]] && echo dos

dove

• file -bgenera solo il tipo di file e non il nome del file. Senza questo, un file il cui nome includeva i caratteriCRLF avrebbe attivato un falso positivo.
• file - < filenamefunziona anche se filenameinizia con -.  ^{Vedi script Bash: controlla se un file è un file di testo .}

Attenzione che il controllo dell'output file potrebbe non funzionare in una lingua non inglese.

Uso cat -A

$ cat file
hello
hello

Ora se questo file fosse creato in sistemi * NIX, verrebbe visualizzato

$ cat -A file
hello$
hello$

Ma se questo file fosse creato in Windows, verrebbe visualizzato

$ cat -A file
hello^M$
hello

^Mrappresenta CRe $rappresenta LF. Si noti che Windows non ha salvato l'ultima riga conCRLF

Ciò non modifica neanche il contenuto del file.

una funzione bash per te:

# return 0 (true) if first line ends in CR
isDosFile() {
    [[ $(head -1 "$1") == *$'\r' ]]  
}

Quindi puoi fare cose come

streamFile () {
    if isDosFile /tmp/foo.txt; then
        sed 's/\r$//' "$1"
    else
        cat "$1"
    fi
}

streamFile /tmp/foo.txt | process_lines_without_CR

Se un file ha terminazioni di riga CR-LF in stile DOS / Windows, quindi se lo guardi utilizzando uno strumento basato su Unix vedrai i caratteri CR ('\ r') alla fine di ogni riga.

Questo comando:

grep -l '^M$' filename

stamperà filenamese il file contiene una o più righe con terminazioni di linea in stile Windows e non stampa nulla in caso contrario. Tranne che ^Mdeve essere un carattere di ritorno a capo letterale, tipicamente inserito nel terminale digitando Ctrl+ Vseguito da Enter (o Ctrl+ Ve quindi Ctrl+ M). La shell bash ti consente di scrivere un ritorno a capo letterale come $'\r'( documentato qui ), in modo da poter scrivere:

grep -l $'\r$' filename

Altre shell possono fornire una funzionalità simile.

Puoi invece usare un altro strumento:

awk '/\r$/ { exit(1) }' filename

Questo terminerà con uno stato di 1(impostazione $?su 1) se il file contiene terminazioni di riga in stile Windows e con uno stato di in 0caso contrario, rendendolo utile in ifun'istruzione shell (notare la mancanza di [parentesi ]):

if awk '/\r$/ { exit(1) }' filename ; then
    echo filename has Unix-style line endings
else
    echo filename has at least one Windows-style line ending
fi

Un file può contenere una combinazione di terminazioni di linea in stile Unix e in stile Windows. Sto assumendo qui che si desidera rilevare i file che hanno nessun fine riga di tipo di Windows.

Utilizzare file:

$ file README.md
README.md: ASCII text, with CRLF line terminators

$ dos2unix README.md
dos2unix: converting file README.md to Unix format...

$ file README.md
README.md: ASCII text

Sto usando

cat -v filename.txt | diff - filename.txt

che sembra funzionare. Trovo che l'output sia un po 'più facile da leggere rispetto a

dos2unix < filename.txt | diff - filename.txt

È utile anche se non è possibile installare dos2unixper qualche motivo.