Per espandere le risposte che altri hanno dato:
Abbiamo molte lingue con molti personaggi che i computer dovrebbero idealmente visualizzare. Unicode assegna a ciascun carattere un numero univoco o un punto di codice.
I computer gestiscono numeri come byte ... saltando un po 'di storia qui e ignorando i problemi di indirizzamento della memoria, i computer a 8 bit tratteranno un byte a 8 bit come la più grande unità numerica facilmente rappresentabile sull'hardware, i computer a 16 bit si espanderebbero quello a due byte e così via.
Le vecchie codifiche di caratteri come ASCII risalgono all'era (pre) a 8 bit e cercano di stipare la lingua dominante nell'informatica al momento, ovvero l'inglese, in numeri che vanno da 0 a 127 (7 bit). Con 26 lettere dell'alfabeto, sia in forma maiuscola che non maiuscola, numeri e segni di punteggiatura, ha funzionato abbastanza bene. ASCII è stato esteso di un ottavo bit per altre lingue non inglesi, ma i 128 numeri / punti di codice aggiuntivi resi disponibili da questa espansione sarebbero mappati a caratteri diversi a seconda della lingua visualizzata. Gli standard ISO-8859 sono le forme più comuni di questa mappatura; ISO-8859-1 e ISO-8859-15 (noto anche come ISO-Latin-1, latin1 e sì, esistono anche due diverse versioni dello standard ISO 8859).
Ma questo non è abbastanza quando vuoi rappresentare i caratteri di più di una lingua, quindi stipare tutti i caratteri disponibili in un singolo byte non funzionerà.
Esistono essenzialmente due diversi tipi di codifica: uno espande l'intervallo di valori aggiungendo più bit. Esempi di queste codifiche sarebbero UCS2 (2 byte = 16 bit) e UCS4 (4 byte = 32 bit). Soffrono intrinsecamente dello stesso problema degli standard ASCII e ISO-8859, poiché la loro gamma di valori è ancora limitata, anche se il limite è molto più alto.
L'altro tipo di codifica utilizza un numero variabile di byte per carattere e le codifiche più comunemente conosciute per questo sono le codifiche UTF. Tutte le codifiche UTF funzionano all'incirca allo stesso modo: si sceglie una dimensione di unità, che per UTF-8 è 8 bit, per UTF-16 è 16 bit e per UTF-32 è 32 bit. Lo standard definisce quindi alcuni di questi bit come flag: se sono impostati, l'unità successiva in una sequenza di unità deve essere considerata parte dello stesso carattere. Se non sono impostati, questa unità rappresenta completamente un personaggio. Pertanto, i caratteri più comuni (in inglese) occupano solo un byte in UTF-8 (due in UTF-16, 4 in UTF-32), ma i caratteri di altre lingue possono occupare almeno sei byte.
Le codifiche multi-byte (dovrei dire multi-unità dopo la spiegazione sopra) hanno il vantaggio di essere relativamente efficienti in termini di spazio, ma il rovescio della medaglia che operazioni come la ricerca di sottostringhe, confronti, ecc. Devono tutti decodificare i caratteri in codice unicode punti prima che tali operazioni possano essere eseguite (ci sono alcune scorciatoie, però).
Sia gli standard UCS che gli standard UTF codificano i punti di codice definiti in Unicode. In teoria, queste codifiche potrebbero essere utilizzate per codificare qualsiasi numero (all'interno dell'intervallo supportato dalla codifica) - ma naturalmente queste codifiche sono state fatte per codificare punti di codice Unicode. E questa è la tua relazione tra loro.
Windows gestisce le cosiddette stringhe "Unicode" come stringhe UTF-16, mentre oggigiorno la maggior parte degli UNIX utilizza UTF-8. I protocolli di comunicazione come HTTP tendono a funzionare meglio con UTF-8, poiché le dimensioni dell'unità in UTF-8 sono le stesse di ASCII e la maggior parte di tali protocolli sono stati progettati nell'era ASCII. D'altra parte, UTF-16 offre le migliori prestazioni di spazio / elaborazione medie quando si rappresentano tutte le lingue viventi.
Lo standard Unicode definisce meno punti di codice di quanti possano essere rappresentati in 32 bit. Pertanto, per tutti gli scopi pratici, UTF-32 e UCS4 sono diventati la stessa codifica, poiché è improbabile che tu abbia a che fare con caratteri multi-unità in UTF-32.
Spero che riempia alcuni dettagli.
