Qual è lo strumento o il metodo più veloce e semplice per convertire i file di testo tra set di caratteri?

In particolare, devo convertire da UTF-8 a ISO-8859-15 e viceversa.

Tutto va bene: una riga nel tuo linguaggio di scripting preferito, strumenti da riga di comando o altre utilità per sistemi operativi, siti Web, ecc.

Le migliori soluzioni finora:

Su Linux / UNIX / OS X / cygwin:

• Gnu iconv suggerito da Troels Arvin è meglio usato come filtro . Sembra essere universalmente disponibile. Esempio:

  $ iconv -f UTF-8 -t ISO-8859-15 in.txt > out.txt
  

  Come sottolineato da Ben , esiste un convertitore online che utilizza iconv .

• La ricodifica Gnu ( manuale ) suggerita da Cheekysoft convertirà uno o più file sul posto . Esempio:

  $ recode UTF8..ISO-8859-15 in.txt
  

  Questo utilizza alias più brevi:

  $ recode utf8..l9 in.txt
  

  Recode supporta anche superfici che possono essere utilizzate per la conversione tra diversi tipi di fine linea e codifiche:

  Convertire nuove righe da LF (Unix) a CR-LF (DOS):

  $ recode ../CR-LF in.txt
  

  File di codifica Base64:

  $ recode ../Base64 in.txt
  

  Puoi anche combinarli.

  Convertire un file UTF8 codificato Base64 con terminazioni di linea Unix in un file latino 1 codificato Base64 con terminazioni di riga Dos:

  $ recode utf8/Base64..l1/CR-LF/Base64 file.txt
  

Su Windows con Powershell ( Jay Bazuzi ):

• PS C:\> gc -en utf8 in.txt | Out-File -en ascii out.txt

  (Nessun supporto ISO-8859-15 però; afferma che i set di caratteri supportati sono unicode, utf7, utf8, utf32, ascii, bigendianunicode, default e oem.)

modificare

Intendi il supporto iso-8859-1? L'uso di "String" fa questo ad es. Per viceversa

gc -en string in.txt | Out-File -en utf8 out.txt

Nota: i possibili valori di enumerazione sono "Unknown, String, Unicode, Byte, BigEndianUnicode, UTF8, UTF7, Ascii".

• CsCvt - Character Converter Converter di Kalytta è un altro ottimo strumento di conversione basato su riga di comando per Windows.

Approccio di utilità autonomo

iconv -f ISO-8859-1 -t UTF-8 in.txt > out.txt

-f ENCODING  the encoding of the input
-t ENCODING  the encoding of the output

Non è necessario specificare nessuno di questi argomenti. Per impostazione predefinita, saranno le impostazioni internazionali correnti, che di solito sono UTF-8.

Prova VIM

Se hai vimpuoi usare questo:

Non testato per ogni codifica.

La parte interessante di questo è che non devi conoscere la codifica sorgente

vim +"set nobomb | set fenc=utf8 | x" filename.txt

Tenere presente che questo comando modifica direttamente il file

Parte spiegazione!

1. +: Usato da vim per inserire direttamente il comando all'apertura di un file. Solitamente utilizzato per aprire un file su una riga specifica:vim +14 file.txt
2. |: Separatore di più comandi (come ;in bash)
3. set nobomb : nessuna distinta base utf-8
4. set fenc=utf8: Imposta la nuova codifica sul collegamento doc utf-8
5. x : Salva e chiudi il file
6. filename.txt : percorso del file
7. ": i qotes sono qui a causa delle pipe. (altrimenti bash li userà come bash pipe)

Sotto Linux è possibile utilizzare il comando recode molto potente per provare a convertire tra i diversi set di caratteri e qualsiasi problema di fine riga. recode -l ti mostrerà tutti i formati e le codifiche tra cui lo strumento può convertire. È probabile che sia un elenco MOLTO lungo.

iconv (1)

iconv -f FROM-ENCODING -t TO-ENCODING file.txt

Inoltre ci sono strumenti basati su iconv in molte lingue.

Get-Content -Encoding UTF8 FILE-UTF8.TXT | Out-File -Encoding UTF7 FILE-UTF7.TXT

La versione più breve, se si può presumere che la DBA di input sia corretta:

gc FILE.TXT | Out-File -en utf7 file-utf7.txt

Prova la funzione iconv Bash

Ho inserito questo in .bashrc:

utf8()
{
    iconv -f ISO-8859-1 -t UTF-8 $1 > $1.tmp
    rm $1
    mv $1.tmp $1
}

..per poter convertire i file in questo modo:

utf8 MyClass.java

Prova Notepad ++

Su Windows sono stato in grado di utilizzare Notepad ++ per eseguire la conversione da ISO-8859-1 a UTF-8 . Clicca "Encoding"e poi "Convert to UTF-8".

Oneliner utilizzando find, con rilevamento automatico del set di caratteri

La codifica dei caratteri di tutti i file di testo corrispondenti viene rilevata automaticamente e tutti i file di testo corrispondenti vengono convertiti in utf-8codifica:

$ find . -type f -iname *.txt -exec sh -c 'iconv -f $(file -bi "$1" |sed -e "s/.*[ ]charset=//") -t utf-8 -o converted "$1" && mv converted "$1"' -- {} \;

Per eseguire questi passaggi, shviene utilizzata una sub shell -exec, eseguendo una riga con l'indicatore -ce passando il nome file come argomento posizionale "$1"con -- {}. Nel mezzo, il utf-8file di output è temporaneamente denominato converted.

Per cui file -bisignifica:

• -b, --brief Non anteporre nomi di file alle righe di output (modalità breve).

• -i, --mime Fa sì che il comando file generi output stringhe di tipo mime piuttosto che quelle più tradizionali leggibili dall'uomo. Così può dire per esempio text/plain; charset=us-asciipiuttosto che ASCII text. Il sedcomando lo taglia solo us-asciicome richiesto da iconv.

Il findcomando è molto utile per tale automazione della gestione dei file. Clicca qui per più a findbizzeffe .

PHP iconv ()

iconv("UTF-8", "ISO-8859-15", $input);

DOS / Windows: utilizzare la tabella codici

chcp 65001>NUL
type ascii.txt > unicode.txt

Il comando chcppuò essere utilizzato per modificare la tabella codici. La tabella codici 65001 è il nome Microsoft per UTF-8. Dopo aver impostato la tabella codici, l'output generato dai seguenti comandi sarà impostato sulla tabella codici.

per scrivere il file delle proprietà (Java) normalmente lo uso in Linux (distribuzioni mint e ubuntu):

$ native2ascii filename.properties

Per esempio:

$ cat test.properties 
first=Execução número um
second=Execução número dois

$ native2ascii test.properties 
first=Execu\u00e7\u00e3o n\u00famero um
second=Execu\u00e7\u00e3o n\u00famero dois

PS: Ho scritto l'esecuzione numero uno / due in portoghese per forzare caratteri speciali.

Nel mio caso, nella prima esecuzione ho ricevuto questo messaggio:

$ native2ascii teste.txt 
The program 'native2ascii' can be found in the following packages:
 * gcj-5-jdk
 * openjdk-8-jdk-headless
 * gcj-4.8-jdk
 * gcj-4.9-jdk
Try: sudo apt install <selected package>

Quando ho installato la prima opzione (gcj-5-jdk) il problema era terminato.

Spero che questo aiuti qualcuno.

Con rubino:

ruby -e "File.write('output.txt', File.read('input.txt').encode('UTF-8', 'binary', invalid: :replace, undef: :replace, replace: ''))"

Fonte: https://robots.thoughtbot.com/fight-back-utf-8-invalid-byte-sequences

Usa questo script Python: https://github.com/goerz/convert_encoding.py Funziona su qualsiasi piattaforma. Richiede Python 2.7.

Il mio strumento preferito per questo è Jedit (un editor di testo basato su Java) che ha due funzioni molto convenienti:

• Uno che consente all'utente di ricaricare un testo con una codifica diversa (e, come tale, di controllare visivamente il risultato)
• Un altro che consente all'utente di scegliere esplicitamente la codifica (e il carattere di fine riga) prima di salvare

Cambia semplicemente la codifica del file caricato nell'IDE IDEA di IntelliJ, a destra della barra di stato (in basso), dove è indicato il set di caratteri corrente. Viene richiesto di ricaricare o convertire, utilizzare Converti. Assicurati di aver effettuato il backup del file originale in anticipo.

Se le applicazioni della GUI di macOS sono il tuo pane e burro, SubEthaEdit è l'editor di testo che di solito vado per la codifica-wrangling - la sua "anteprima di conversione" ti consente di vedere tutti i caratteri non validi nella codifica di output e correggerli / rimuoverli.

Ed è open-source ora, quindi per loro 😉.

Come descritto in Come posso correggere la codifica dei caratteri di un file? Synalyze It! consente di convertire facilmente su OS X tra tutte le codifiche supportate dalla libreria ICU .

Inoltre puoi visualizzare alcuni byte di un file tradotto in Unicode da tutte le codifiche per vedere rapidamente qual è quello giusto per il tuo file.