I file di testo memorizzano il loro metodo di codifica per la decodifica successiva?

1. Mi chiedevo se alcuni file di testo memorizzano il loro metodo di codifica lungo il loro contenuto di testo per la successiva decodifica?
2. Oppure è compito del visualizzatore di testi indovinare il metodo di codifica per un determinato file di testo e le ipotesi potrebbero non essere sempre corrette? Se sì, come può indovinarlo un visualizzatore di testi?

Mi chiedevo se alcuni file di testo memorizzano il loro metodo di codifica lungo il loro contenuto di testo per la successiva decodifica?

La risposta di Mark Szymanski è corretta - non ci sono informazioni di codifica esplicite in un file di testo semplice - questa è la definizione di "file di testo semplice", il "semplice" si riferisce al fatto che non ci sono metadati nel file.

Tuttavia, alcune applicazioni inseriranno un segno di ordine dei byte (BOM) nei file di testo codificati come UTF-16 o UTF-32 / UCS-4. La BOM non intende realmente indicare la codifica (indica l'ordine dei byte, come dice il nome), ma molte applicazioni useranno la presenza della BOM per riconoscere UTF-16 / UTF-32, quindi funge da indicatore di codifica.

Oppure è compito del visualizzatore di testi indovinare il metodo di codifica per un determinato file di testo e le ipotesi potrebbero non essere sempre corrette? Se sì, come può indovinarlo un visualizzatore di testi?

Sì, il visualizzatore di testo può solo indovinare. Di solito utilizza alcune euristiche:

• In alcune codifiche (in particolare in UTF-8) non tutte le sequenze di byte sono valide. Quindi un'applicazione può semplicemente provare a decodificare il file come UTF-8. Se riesce, il file è probabilmente UTF-8; se fallisce trovando una sequenza di byte non valida, non lo è. Ecco come ad esempio vimfunziona per impostazione predefinita: proverà innanzitutto a utilizzare UTF-8 durante la lettura di un file; se ciò fallisce, ricade in ISO-8859-1.
• Nella maggior parte delle codifiche a 8 bit precedenti, qualsiasi sequenza di byte è valida. In tal caso, a volte puoi indovinare la codifica osservando l'istogramma dei byte (frequenza di diversi byte / sequenze di byte). Internet Explorer lo faceva per "indovinare" la codifica di una pagina. Tuttavia, questo è molto soggetto a errori, quindi pochi programmi lo fanno.

Nella maggior parte dei casi, un programma deve essere esplicitamente informato su quale sia la codifica di un file di testo, altrimenti non sarà in grado di leggerlo correttamente.

I file di testo normale non memorizzano alcuna informazione sulla loro codifica. Un visualizzatore lo determina in base alla codifica dei caratteri che hai impostato per esso. Non può determinarlo da solo, poiché è lo stesso per il computer.