UTF-8 sarebbe in grado di supportare l'inclusione di una vasta lingua aliena con milioni di nuovi personaggi?

Nel caso in cui si verificasse un'invasione aliena e siamo stati costretti a supportare le loro lingue in tutti i nostri sistemi informatici esistenti, UTF-8 è progettato in modo da consentire la loro immensa quantità di personaggi?

(Certo, non sappiamo se gli alieni abbiano effettivamente delle lingue, se o come comunichino, ma per il bene dell'argomento, per favore, immagina di sì.)

Ad esempio, se il loro linguaggio fosse costituito da milioni di glifi, simboli e / o caratteri combinati nuovi, UTF-8 potrebbe teoricamente essere espanso in modo continuo per includere questi nuovi glifi e supportare ancora tutto il software esistente?

Sono più interessato a se i glifi superano di gran lunga le attuali limitazioni di dimensione e richiedono più byte per rappresentare un singolo glifo. Nel caso in cui UTF-8 non potesse essere ampliato, ciò dimostra che il vantaggio singolo rispetto a UTF-32 è semplicemente la dimensione di caratteri inferiori?

Lo standard Unicode ha molto spazio libero. I punti di codice Unicode sono organizzati in "piani" e "blocchi". Di 17 aerei totali, 11 sono attualmente non assegnati . Ogni piano contiene 65.536 caratteri, quindi c'è realisticamente mezzo milione di punti di codice da risparmiare per una lingua aliena (a meno che non riempiamo tutto questo con più emoji prima del primo contatto). A partire da Unicode 8.0, sono stati assegnati in totale solo 120.737 punti di codice (circa il 10% della capacità totale), con circa lo stesso importo non assegnato ma riservato per uso privato specifico dell'applicazione. In totale, 974.530 punti di codice non sono assegnati.

UTF-8 è una codifica specifica di Unicode ed è attualmente limitata a quattro ottetti (byte) per punto di codice, che corrisponde ai limiti di UTF-16. In particolare, UTF-16 supporta solo 17 aerei. In precedenza, UTF-8 supportava 6 ottetti per punto di codice ed era progettato per supportare 32768 aerei. In linea di principio questo limite di 4 byte potrebbe essere revocato, ma ciò spezzerebbe l'attuale struttura organizzativa di Unicode e richiederebbe la graduale eliminazione dell'UTF-16 - che probabilmente non si verificherà nel prossimo futuro considerando quanto sia radicato in alcuni sistemi operativi e programmi le lingue.

L'unico motivo per cui UTF-16 è ancora di uso comune è che si tratta di un'estensione della codifica UCS-2 difettosa che supportava solo un singolo piano Unicode. In caso contrario, eredita proprietà indesiderabili sia da UTF-8 (non a larghezza fissa) sia da UTF-32 (non compatibile ASCII, spreco di spazio per i dati comuni) e richiede segni di ordine byte per dichiarare l'endianità. Dato che nonostante questi problemi UTF-16 è ancora popolare, non sono troppo ottimista sul fatto che questo cambierà da solo molto presto. Speriamo che i nostri nuovi Sovrani Alieni vedranno questo impedimento al loro dominio e nella loro saggezza bandiranno UTF-16 dalla faccia della terra .

Se UTF-8 deve essere effettivamente esteso, dovremmo guardare al massimo assoluto che potrebbe rappresentare. UTF-8 è strutturato in questo modo:

Char. number range  |        UTF-8 octet sequence
   (hexadecimal)    |              (binary)
--------------------+---------------------------------------------
0000 0000-0000 007F | 0xxxxxxx
0000 0080-0000 07FF | 110xxxxx 10xxxxxx
0000 0800-0000 FFFF | 1110xxxx 10xxxxxx 10xxxxxx
0001 0000-0010 FFFF | 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx

(copiato spudoratamente dall'RFC .) Vediamo che il primo byte controlla sempre quanti byte di follow-up compongono il carattere corrente.

Se lo estendiamo per consentire fino a 8 byte otteniamo le rappresentazioni aggiuntive non Unicode

111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
1111110x 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
11111110 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
11111111 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx

Calcolando le rappresentazioni massime possibili a cui questa tecnica consente di arrivare

  10000000₂
+ 00100000₂ * 01000000₂
+ 00010000₂ * 01000000₂^2
+ 00001000₂ * 01000000₂^3
+ 00000100₂ * 01000000₂^4
+ 00000010₂ * 01000000₂^5
+ 00000001₂ * 01000000₂^6
+ 00000001₂ * 01000000₂^7

o nella base 10:

  128
+  32 * 64
+  16 * 64^2
+   8 * 64^3
+   4 * 64^4
+   2 * 64^5
+   1 * 64^6
+   1 * 64^7

che ci dà il numero massimo di rappresentazioni pari a 4.468.982.745.216.

Quindi, se questi 4 miliardi ( o trilioni, a piacere ) sono sufficienti per rappresentare le lingue aliene, sono abbastanza sicuro che possiamo, con il minimo sforzo, estendere l'attuale UTF-8 per soddisfare i nostri nuovi signori alieni ;-)

RFC3629 limita UTF-8 a un massimo di quattro byte per carattere, con un valore massimo di 0x10FFFF, consentendo un massimo di 1.112.064 punti di codice. Ovviamente questa restrizione potrebbe essere rimossa e la norma estesa, ma ciò proverebbe una rottura del codice esistente che funziona fino a quel limite.

Dal punto di vista del file di dati, questo non sarebbe un cambiamento sostanziale poiché lo standard funziona in base al fatto che se viene impostato il bit più significativo (MSB) di ciascun byte, il byte successivo fa parte della codifica. Anche prima di RFC3629, lo standard era limitato a 31 bit, lasciando disinserito l'MSB del quarto byte.

L'estensione dello standard oltre 0x10FFFF comprometterebbe la parziale compatibilità dei dati di UTF-8 con UTF-16.

In realtà, solo 2 codici Unicode indicano un numero infinito di glifi, se combinano caratteri.

Confronta, ad esempio, i due modi in cui Unicode codifica per l'alfabeto coreano Hangul: Hangul Syllables e Hangul Jamo . Il carattere 웃 in Hangul Syllabelsè il singolo punto di codice C6C3mentre in Hangul Jamoesso sono i tre punti di codice 110B(ㅇ) 116E(ㅜ) 11B9(ㅅ). Ovviamente, l'uso della combinazione di caratteri occupa notevolmente meno punti di codice, ma è meno efficiente per la scrittura perché sono necessari più byte per scrivere ogni carattere.

Con questo trucco, non è necessario andare oltre il numero di punti di codice che attualmente possono essere codificati in UTF-8 o UTF-16.

Immagino che dipenda da quanto sarebbero offesi gli alieni se la loro lingua richiedesse molti più byte per messaggio rispetto alle lingue terrene. Se a loro non importa, diciamo, che rappresentano ciascuno dei loro milioni di personaggi usando un miscuglio di dire, 100k che combinano personaggi, allora non c'è problema; d'altra parte, se essere costretti a usare più byte dei terrestri li fa sentire cittadini di seconda classe, potremmo trovarci in qualche conflitto ( non diversamente da ciò che già osserviamo con UTF-8 ).

Modifica: la domanda ora dice "milioni di nuovi personaggi". Ciò semplifica la risposta:

No . Utf-8 è una codifica Unicode. Unicode ha uno spazio codici che consente 1.114.112 punti di codice distinti e meno di un milione è attualmente non assegnato. Quindi non è possibile supportare milioni di nuovi personaggi in Unicode. Per definizione nessuna codifica Unicode può supportare più caratteri di quanto definito da Unicode. (Ovviamente puoi imbrogliare codificando ulteriormente un livello - dopotutto ogni tipo di dati può essere rappresentato da solo due caratteri.)

Per rispondere alla domanda originale:

Unicode non supporta le lingue in quanto tali, supporta i caratteri - simboli utilizzati per rappresentare la lingua in forma scritta.

Non tutte le lingue umane hanno una rappresentazione scritta, quindi non tutte le lingue umane possono essere supportate da Unicode. Inoltre molti animali comunicano ma non hanno una lingua scritta. Le balene, ad esempio, hanno una forma di comunicazione che è abbastanza complessa da chiamare una lingua, ma non ha alcuna forma scritta (e non può essere catturata nemmeno dalla notazione fonetica esistente). Quindi, nemmeno tutte le lingue sulla terra possono essere supportate da Unicode.

Ancora peggio è qualcosa di simile al linguaggio delle api. Non solo non ha una forma scritta, non può essere significativamente rappresentato in forma scritta. La lingua è un tipo di danza che punta sostanzialmente in una direzione ma si basa sulla posizione attuale del sole. Pertanto la danza ha valore informativo solo nel luogo e nel momento in cui viene eseguita. Una rappresentazione simbolica o testuale dovrebbe includere informazioni (posizione, posizione del sole) che la lingua delle api non può attualmente esprimere.

Anche una forma di comunicazione scritta o simbolica potrebbe non essere possibile rappresentare in Unicode. Ad esempio, le illustrazioni o i fumetti senza parole non possono essere supportati da Unicode poiché l'insieme di glifi non è finito. Noterai molte comunicazioni pittoriche in contesti internazionali come un aeroporto, quindi non è inconcepibile che una razza di alieni che viaggiano nello spazio si sia evoluta per usare un linguaggio pittorico.

Anche se una razza aliena avesse una lingua con un sistema di scrittura con un insieme finito di simboli, questo sistema potrebbe non essere supportato in Unicode. Unicode prevede che la scrittura sia una sequenza lineare di simboli. La notazione musicale è un esempio di un sistema di scrittura che non può essere completamente rappresentato in Unicode, poiché il significato è codificato sia nella scelta dei simboli che nel posizionamento verticale e orizzontale. (Unicode supporta singoli simboli musicali, ma non può codificare una partitura.) Una razza aliena che comunicava usando musica polifonica (non insolita) o un canale di comunicazione di simile complessità, potrebbe benissimo avere un sistema di scrittura che assomiglia a una partitura orchestrale, e Unicode non può supportarlo.

Ma per amor di discussione supponiamo che tutte le lingue, anche le lingue aliene, possano essere espresse come una sequenza lineare di simboli selezionati da un insieme finito. Unicode è abbastanza grande per un'invasione aliena? Unicode ha attualmente meno di un milione di punti di codice non assegnati. La lingua cinese contiene centinaia di migliaia di caratteri secondo il dizionario cinese più completo (al momento non tutti sono supportati da Unicode come caratteri distinti). Quindi solo dieci lingue con la complessità del cinese consumerebbero tutto Unicode. Sulla terra abbiamo centinaia di sistemi di scrittura distinti, ma per fortuna la maggior parte sono alfabetici piuttosto che ideografici e quindi contengono un piccolo numero di caratteri. Se tutte le lingue scritte usassero ideogrammi come il cinese, Unicode non sarebbe nemmeno abbastanza grande per la terra. L'uso degli alfabeti deriva dal linguaggio che utilizza solo un numero limitato di fonemi, ma questo è particolare per la fisiologia umana. Quindi anche un singolo pianeta alieno con solo una dozzina di sistemi di scrittura ideografica potrebbe superare ciò che Unicode può supportare. Ora considera se questo alieno ha già invaso altri pianeti prima della Terra e incluso i loro sistemi di scrittura nell'insieme di personaggi che devono essere supportati.

L'espansione o la modifica delle codifiche correnti o l'introduzione di nuove codifiche non risolverà questo problema, poiché la limitazione è nel numero di punti di codice supportati da Unicode.

Quindi la risposta è molto probabilmente no.