Problema di codifica Java FileReader

Ho provato a usare java.io.FileReader per leggere alcuni file di testo e convertirli in una stringa, ma ho scoperto che il risultato è codificato erroneamente e non è affatto leggibile.

Ecco il mio ambiente:

• Windows 2003, codifica del sistema operativo: CP1252

• Java 5.0

I miei file sono codificati UTF-8 o codificati CP1252 e alcuni di essi (file codificati UTF-8) possono contenere caratteri cinesi (non latini).

Uso il seguente codice per svolgere il mio lavoro:

   private static String readFileAsString(String filePath)
    throws java.io.IOException{
        StringBuffer fileData = new StringBuffer(1000);
        FileReader reader = new FileReader(filePath);
        //System.out.println(reader.getEncoding());
        BufferedReader reader = new BufferedReader(reader);
        char[] buf = new char[1024];
        int numRead=0;
        while((numRead=reader.read(buf)) != -1){
            String readData = String.valueOf(buf, 0, numRead);
            fileData.append(readData);
            buf = new char[1024];
        }
        reader.close();
        return fileData.toString();
    }

Il codice sopra non funziona. Ho trovato che la codifica del FileReader è CP1252 anche se il testo è codificato UTF-8. Ma JavaDoc di java.io.FileReader dice che:

I costruttori di questa classe presumono che la codifica dei caratteri predefinita e la dimensione del buffer byte predefinita siano appropriate.

Questo significa che non devo impostare la codifica dei caratteri da solo se sto usando FileReader? Ma al momento ho ricevuto dati codificati erroneamente, qual è il modo corretto di gestire la mia situtaion? Grazie.

Sì, è necessario specificare la codifica del file che si desidera leggere.

Sì, questo significa che devi conoscere la codifica del file che vuoi leggere.

No, non esiste un modo generale per indovinare la codifica di un determinato file "testo normale".

I costruttori a argomento singoloFileReader usano sempre la codifica predefinita della piattaforma che è generalmente una cattiva idea .

Da quando Java 11 FileReaderha anche acquisito costruttori che accettano una codifica: new FileReader(file, charset)e new FileReader(fileName, charset).

Nelle versioni precedenti di java, è necessario utilizzare .new InputStreamReader(new FileInputStream(pathToFile), <encoding>)

FileReader utilizza la codifica predefinita della piattaforma Java, che dipende dalle impostazioni di sistema del computer su cui è in esecuzione ed è generalmente la codifica più popolare tra gli utenti in quella locale.

Se questa "ipotesi migliore" non è corretta, è necessario specificare esplicitamente la codifica. Sfortunatamente, FileReaderciò non lo consente (svista importante nell'API). Invece, devi usare new InputStreamReader(new FileInputStream(filePath), encoding)e idealmente ottenere la codifica dai metadati sul file.

Da Java 11 puoi usare quello:

public FileReader(String fileName, Charset charset) throws IOException;

Per il documento Java 7+ puoi usare questo:

BufferedReader reader = Files.newBufferedReader(path, StandardCharsets.UTF_8);

Ecco tutti i Charsets doc

Ad esempio, se il file è in CP1252, utilizzare questo metodo

Charset.forName("windows-1252");

Ecco altri nomi canonici per le codifiche Java sia per IO che per NIO doc

Se non si conosce esattamente la codifica che avete ottenuto in un file, è possibile utilizzare alcune librerie di terze parti come questo strumento da parte di Google questo che funziona abbastanza ordinata.

FileInputStream con InputStreamReader è meglio che utilizzare direttamente FileReader, poiché quest'ultimo non consente di specificare il set di caratteri di codifica.

Ecco un esempio usando BufferedReader, FileInputStream e InputStreamReader insieme, in modo da poter leggere le righe da un file.

List<String> words = new ArrayList<>();
List<String> meanings = new ArrayList<>();
public void readAll( ) throws IOException{
    String fileName = "College_Grade4.txt";
    String charset = "UTF-8";
    BufferedReader reader = new BufferedReader(
        new InputStreamReader(
            new FileInputStream(fileName), charset)); 

    String line; 
    while ((line = reader.readLine()) != null) { 
        line = line.trim();
        if( line.length() == 0 ) continue;
        int idx = line.indexOf("\t");
        words.add( line.substring(0, idx ));
        meanings.add( line.substring(idx+1));
    } 
    reader.close();
}

Per un altro come le lingue latine, ad esempio in cirillico, puoi usare qualcosa del genere:

FileReader fr = new FileReader("src/text.txt", StandardCharsets.UTF_8);

e assicurati che il tuo .txtfile sia salvato con il formato UTF-8(ma non come predefinito ANSI). Saluti!