Unicode, Unicode Big Endian o UTF-8? Qual è la differenza? Quale formato è migliore?

Quando provo a salvare un file di testo con testo non inglese in Blocco note, ottengo un'opzione per scegliere tra Unicode , Unicode Big Endian e UTF-8 . Qual è la differenza tra questi formati?

Supponendo che non voglio alcuna retrocompatibilità (con versioni o app di sistemi operativi precedenti) e non mi interessa la dimensione del file, quale di questi formati è migliore?

(Supponiamo che il testo possa essere in lingue come cinese o giapponese, oltre ad altre lingue.)

Nota: dalle risposte e dai commenti sottostanti sembra che nel gergo di Blocco note, Unicode sia UTF-16 (Little Endian), Unicode Big Endian sia UTF-16 (Big Endian) e UTF-8 sia bene UTF-8.

Boh. Quale è meglio: una sega o un martello? :-)

Unicode non è UTF

C'è un po 'nell'articolo che è un po' più rilevante per l'argomento in questione però:

• UTF-8 si concentra sulla riduzione al minimo della dimensione dei byte per la rappresentazione dei caratteri dal set ASCII (rappresentazione a lunghezza variabile: ogni carattere è rappresentato da 1 a 4 byte e tutti i caratteri ASCII si adattano a 1 byte). Come dice Joel:

"Guarda tutti quegli zeri!", Hanno detto, poiché erano americani e stavano guardando il testo inglese che raramente utilizzava punti di codice sopra U + 00FF. Inoltre erano hippy liberali in California che volevano conservare (ghigno). Se fossero stati texani, non avrebbero avuto problemi a raddoppiare il numero di byte. Ma quei wimps californiani non potevano sopportare l'idea di raddoppiare la quantità di memoria necessaria per le stringhe

• UTF-32 si concentra sull'esaustività e la rappresentazione a lunghezza fissa, utilizzando 4 byte per tutti i caratteri. È la traduzione più semplice, mappando direttamente il punto di codice Unicode a 4 byte. Ovviamente, non è molto efficiente in termini di dimensioni.

• UTF-16 è un compromesso, che utilizza 2 byte per la maggior parte del tempo, ma si espande a 2 * 2 byte per carattere per rappresentare determinati caratteri, quelli non inclusi nel piano multilingue di base (BMP).

Vedi anche il minimo assoluto che ogni sviluppatore di software deve assolutamente conoscere positivamente su Unicode e set di caratteri (senza scuse!)

Per le lingue europee, UTF-8 è più piccolo. Per le lingue orientali, la differenza non è così netta.

Entrambi gestiranno tutti i possibili caratteri Unicode, quindi non dovrebbe fare alcuna differenza in termini di compatibilità.

Esistono più codifiche di caratteri Unicode di quanto tu possa pensare.

• UTF 8

  La codifica UTF-8 ha una larghezza variabile, che varia da 1 a 4 byte, con i bit superiori di ciascun byte riservati come bit di controllo. I bit iniziali del primo byte indicano il numero totale di byte utilizzati per quel carattere. Il valore scalare del punto di codice di un personaggio è la concatenazione dei bit non di controllo. In questa tabella, xrappresenta gli 8 bit più bassi del valore Unicode, yrappresenta i successivi 8 bit più alti e zrappresenta i bit più alti di quello.

  Unicode              Byte1     Byte2     Byte3     Byte4
  U+0000-U+007F       0xxxxxxx            
  U+0080-U+07FF       110yyyxx  10xxxxxx          
  U+0800-U+FFFF       1110yyyy  10yyyyxx  10xxxxxx    
  U+10000-U+10FFFF    11110zzz  10zzyyyy  10yyyyxx  10xxxxxx
  

• UCS-16
• UCS-16 BE
• UCS-16
  
  
• UTF-16
• UTF-16 BE
• UTF-16
  
  
• UTF-32
• UTF-32-BE

"Unicode" è un altro termine per "UTF-16", che è una codifica del set di caratteri Unicode in sedici bit per carattere. UTF-8 lo codifica in otto bit per carattere.

In entrambi i casi, qualsiasi overflow viene allocato ad altri 16 o otto bit.

L'unico vero vantaggio con file di piccole dimensioni come i file di testo è la dimensione del file risultante. UTF-8 produce generalmente file più piccoli. Ma questa differenza potrebbe essere meno pronunciata con il testo cinese / giapponese.

In una parola, Unicode è un set di caratteri , mentre Unicode Big Endian e utf-8 sono due codifiche , che vengono utilizzate per memorizzare i caratteri come 01 su un computer.