Come rilevare automaticamente la codifica dei file di testo?

Esistono molti file di testo semplice codificati in set di caratteri varianti.

Voglio convertirli tutti in UTF-8, ma prima di eseguire iconv, devo conoscere la sua codifica originale. La maggior parte dei browser ha Auto Detectun'opzione nelle codifiche, tuttavia, non posso controllare quei file di testo uno per uno perché ce ne sono troppi.

Solo dopo aver conosciuto la codifica originale, posso quindi convertire i testi di iconv -f DETECTED_CHARSET -t utf-8.

Esiste qualche utilità per rilevare la codifica di file di testo normale? NON deve essere perfetto al 100%, non mi dispiace se ci sono 100 file erroneamente convertiti in 1.000.000 di file.

Prova il modulo chardet Python, disponibile su PyPi:

pip install chardet

Quindi corri chardetect myfile.txt.

Chardet si basa sul codice di rilevamento utilizzato da Mozilla, quindi dovrebbe fornire risultati ragionevoli, a condizione che il testo di input sia sufficientemente lungo per l'analisi statistica. Leggi la documentazione del progetto .

Come accennato nei commenti, è piuttosto lento, ma alcune distribuzioni distribuiscono anche la versione C ++ originale come @Xavier ha trovato in https://superuser.com/a/609056 . C'è anche una versione Java da qualche parte.

Vorrei usare questo semplice comando:

encoding=$(file -bi myfile.txt)

O se vuoi solo il set di caratteri reale (come utf-8):

encoding=$(file -b --mime-encoding myfile.txt)

Su Linux basato su Debian, il pacchetto uchardet ( Debian / Ubuntu ) fornisce uno strumento da riga di comando. Vedi sotto la descrizione del pacchetto:

 universal charset detection library - cli utility
 .
 uchardet is a C language binding of the original C++ implementation
 of the universal charset detection library by Mozilla.
 .
 uchardet is a encoding detector library, which takes a sequence of
 bytes in an unknown character encoding without any additional
 information, and attempts to determine the encoding of the text.
 .
 The original code of universalchardet is available at
 http://lxr.mozilla.org/seamonkey/source/extensions/universalchardet
 .
 Techniques used by universalchardet are described at
 http://www.mozilla.org/projects/intl/UniversalCharsetDetection.html

Per Linux esiste enca e per Solaris è possibile utilizzare auto_ef .

Mozilla ha una buona base di codici per il rilevamento automatico nelle pagine Web:
http://lxr.mozilla.org/seamonkey/source/extensions/universalchardet/src/

Descrizione dettagliata dell'algoritmo:
http://www-archive.mozilla.org/projects/intl/UniversalCharsetDetection.html

Tornando a chardet (python 2.?) Questa chiamata potrebbe essere sufficiente:

python -c 'import chardet,sys; print chardet.detect(sys.stdin.read())' < file
{'confidence': 0.98999999999999999, 'encoding': 'utf-8'}

Anche se è tutt'altro che perfetto ...

echo "öasd" | iconv -t ISO-8859-1 | python -c 'import chardet,sys; print chardet.detect(sys.stdin.read())'
{'confidence': 0.5, 'encoding': 'windows-1252'}

Per coloro che utilizzano regolarmente Emacs, potrebbero trovare utili le seguenti informazioni (consente di ispezionare e validare manualmente la trasfomazione).

Inoltre, trovo spesso che il rilevamento automatico del set di caratteri Emacs sia molto più efficiente rispetto agli altri strumenti di rilevamento automatico del set di caratteri (come chardet).

(setq paths (mapcar 'file-truename '(
 "path/to/file1"
 "path/to/file2"
 "path/to/file3"
)))

(dolist (path paths)
  (find-file path)
  (set-buffer-file-coding-system 'utf-8-unix)
  )

Quindi, una semplice chiamata a Emacs con questo script come argomento (vedere l'opzione "-l") fa il lavoro.

Vale la pena provare UTFCast. Non ha funzionato per me (forse perché i miei file sono terribili) ma sembra buono.

http://www.addictivetips.com/windows-tips/how-to-batch-convert-text-files-to-utf-8-encoding/

isutf8(dal moreutilspacchetto) ha fatto il lavoro

Anche nel caso in cui il file -i ti dia sconosciuto

Puoi usare questo comando php che può indovinare charset come di seguito:

In php puoi controllare come di seguito:

Specificare esplicitamente l'elenco di codifica:

php -r "echo 'probably : ' . mb_detect_encoding(file_get_contents('myfile.txt'), 'UTF-8, ASCII, JIS, EUC-JP, SJIS, iso-8859-1') . PHP_EOL;"

" Mb_list_encodings " più accurati :

php -r "echo 'probably : ' . mb_detect_encoding(file_get_contents('myfile.txt'), mb_list_encodings()) . PHP_EOL;"

Qui nel primo esempio, puoi vedere che ho messo un elenco di codifiche (rileva l'ordine dell'elenco) che potrebbero corrispondere. Per ottenere risultati più precisi è possibile utilizzare tutte le codifiche possibili tramite: mb_list_encodings ()

Nota le funzioni mb_ * richiedono php-mbstring

apt-get install php-mbstring 

Vedi risposta: https://stackoverflow.com/a/57010566/3382822