In che modo Chrome decide cosa evidenziare quando fai doppio clic sul testo giapponese?

Se fai doppio clic sul testo inglese in Chrome, viene evidenziata la parola delimitata da spazi bianchi su cui hai fatto clic. Questo non è sorprendente. Tuttavia, l'altro giorno stavo facendo clic mentre leggevo del testo in giapponese e ho notato che alcune parole erano evidenziate ai confini delle parole, anche se il giapponese non ha spazi. Ecco alcuni esempi di testo:

ど こ で 生 れ た か と ん と 見 当 が つ か ぬ. 何 で も 薄 暗 い じ め じ め し た 所 で ニ ャ ー ニ ャ ー 泣 い て い た 事 だ け は 記憶 し て い る.

Ad esempio, se fai clic su 薄 暗 い, Chrome lo evidenzierà correttamente come una singola parola, anche se non è una singola classe di caratteri (questo è un mix di kanji e hiragana). Non tutti i momenti salienti sono corretti, ma non sembrano casuali.

In che modo Chrome decide cosa evidenziare qui? Ho provato a cercare la fonte di Chrome per "parola giapponese", ma ho trovato solo test per un modulo sperimentale che non sembra attivo nella mia versione di Chrome.

Quindi risulta che v8 ha un segmentatore di parole multilingue non standard e gestisce il giapponese.

function tokenizeJA(text) {
  var it = Intl.v8BreakIterator(['ja-JP'], {type:'word'})
  it.adoptText(text)
  var words = []

  var cur = 0, prev = 0

  while (cur < text.length) {
    prev = cur
    cur = it.next()
    words.push(text.substring(prev, cur))
  }

  return words
}

console.log(tokenizeJA('どこで生れたかとんと見当がつかぬ。何でも薄暗いじめじめした所でニャーニャー泣いていた事だけは記憶している。'))
// ["どこ", "で", "生れ", "たか", "とんと", "見当", "が", "つ", "か", "ぬ", "。", "何でも", "薄暗い", "じめじめ", "した", "所", "で", "ニャーニャー", "泣", "い", "て", "いた事", "だけ", "は", "記憶", "し", "て", "いる", "。"]

Ho anche realizzato un jsfiddle che mostra questo.

La qualità non è sorprendente ma sono sorpreso che questo sia supportato.

Sulla base dei collegamenti pubblicati da JonathonW , la risposta si riduce sostanzialmente a: "C'è un grande elenco di parole giapponesi e Chrome controlla se hai fatto doppio clic in una parola".

In particolare, v8 utilizza l' ICU per eseguire una serie di operazioni di elaborazione del testo relative a Unicode, inclusa la suddivisione del testo in parole . Il codice di rilevamento del confine ICU include un "BreakIterator basato su dizionario" per le lingue che non dispongono di spazi, inclusi giapponese, cinese, tailandese, ecc.

E per il tuo esempio specifico di "薄 暗 い", puoi trovare quella parola nel dizionario combinato cinese-giapponese spedito da ICU (linea 255431). Ci sono attualmente 315.671 parole cinesi / giapponesi totali nell'elenco. Presumibilmente se trovi una parola che Chrome non si divide correttamente, potresti inviare una patch all'ICU per aggiungere quella parola.