Un modo elegante per cercare file UTF-8 con BOM?

Per scopi di debug, è necessario cercare in modo ricorsivo una directory per tutti i file che iniziano con un contrassegno di ordine di byte (BOM) UTF-8. La mia soluzione attuale è un semplice script di shell:

find -type f |
while read file
do
    if [ "`head -c 3 -- "$file"`" == $'\xef\xbb\xbf' ]
    then
        echo "found BOM in: $file"
    fi
done

Oppure, se preferisci le battute brevi e illeggibili:

find -type f|while read file;do [ "`head -c3 -- "$file"`" == $'\xef\xbb\xbf' ] && echo "found BOM in: $file";done

Non funziona con i nomi di file che contengono un'interruzione di riga, ma tali file non sono comunque prevedibili.

Esiste una soluzione più corta o più elegante?

Esistono editor di testo o macro interessanti per gli editor di testo?

Che dire di questo semplice comando che non solo trova ma cancella la brutta BOM? :)

find . -type f -exec sed '1s/^\xEF\xBB\xBF//' -i {} \;

Adoro "trovare" :)

Avviso Quanto sopra modificherà i file binari che contengono questi tre caratteri.

Se vuoi solo mostrare i file BOM, usa questo:

grep -rl $'\xEF\xBB\xBF' .

Il modo migliore e più semplice per farlo su Windows:

Total Commander → vai alla directory principale del progetto → trova i file ( Alt+ F7) → tipi di file *. * → Trova il testo "EF BB BF" → seleziona la casella di controllo 'Hex' → cerca

E ottieni l'elenco :)

find . -type f -print0 | xargs -0r awk '
    /^\xEF\xBB\xBF/ {print FILENAME}
    {nextfile}'

La maggior parte delle soluzioni fornite sopra testano più della prima riga del file, anche se alcune (come la soluzione di Marcus) filtrano i risultati. Questa soluzione verifica solo la prima riga di ogni file, quindi dovrebbe essere un po 'più veloce.

Se accetti dei falsi positivi (nel caso in cui ci siano file non di testo, o nel caso improbabile ci sia uno ZWNBSP nel mezzo di un file), puoi usare grep:

fgrep -rl `echo -ne '\xef\xbb\xbf'` .

Userei qualcosa come:

grep -orHbm1 "^`echo -ne '\xef\xbb\xbf'`" . | sed '/:0:/!d;s/:0:.*//'

Ciò garantirà che la distinta materiali avvenga a partire dal primo byte del file.

Puoi usarli grepper trovarli e Perl per rimuoverli in questo modo:

grep -rl $'\xEF\xBB\xBF' . | xargs perl -i -pe 's{\xEF\xBB\xBF}{}'

Per un utente Windows, guarda questo (buon script PHP per trovare il file BOMnel tuo progetto).

Una soluzione eccessiva a questo è phptags(non lo vistrumento con lo stesso nome), che cerca specificamente gli script PHP:

phptags --warn ./

Produrrà qualcosa come:

./invalid.php: TRAILING whitespace ("?>\n")
./invalid.php: UTF-8 BOM alone ("\xEF\xBB\xBF")

E la --whitespacemodalità risolverà automaticamente tali problemi (in modo ricorsivo, ma afferma che riscrive solo gli script .php.)

find -type f -print0 | xargs -0 grep -l `printf '^\xef\xbb\xbf'` | sed 's/^/found BOM in: /'

• find -print0 inserisce un null \ 0 tra ogni nome di file invece di utilizzare nuove righe
• xargs -0 si aspetta argomenti separati da null invece che separati da righe
• grep -l elenca i file che corrispondono alla regex
• La regex ^\xeff\xbb\xbfnon è del tutto corretta, in quanto corrisponderà a file UTF-8 non BOM se hanno spazi di larghezza zero all'inizio di una riga

L'ho usato per correggere solo i file JavaScript:

find . -iname *.js -type f -exec sed 's/^\xEF\xBB\xBF//' -i.bak {} \; -exec rm {}.bak \;

Se stai cercando file UTF, il comando file funziona. Ti dirà qual è la codifica del file. Se sono presenti caratteri non ASCII, verrà visualizzato UTF.

file *.php | grep UTF

Tuttavia, non funzionerà in modo ricorsivo. Probabilmente puoi creare qualche comando di fantasia per renderlo ricorsivo, ma ho cercato individualmente ogni livello come segue, fino a quando non ho esaurito i livelli.

file */*.php | grep UTF