Nel livellamento di Kneser-Ney, come vengono gestite le parole invisibili?

Da quello che ho visto, la formula di lisciatura di Kneser-Ney (di secondo ordine) è in qualche modo data come

$\begin{align} P^2_{KN}(w_n|w_{n-1}) &= \frac{\max \left\{ C\left(w_{n-1}, w_n\right) - D, 0\right\}}{\sum_{w'} C\left(w_{n-1}, w'\right)} + \lambda(w_{n-1}) \times P_{cont}(w_n) \end{align}$

con il fattore di normalizzazione dato come$\lambda(w_{n-1})$

$\begin{align} \lambda(w_{n-1}) &= \frac{D}{\sum_{w'} C\left(w_{n-1}, w'\right)} \times N_{1+}\left(w_{n-1}\bullet\right) \end{align}$

e la probabilità di continuazione di una parola w_nw $P_{cont}(w_n)$$w_n$

$\begin{align} P_{cont}(w_n) &= \frac{N_{1+}\left(\bullet w_{n}\right)}{\sum_{w'} N_{1+}\left(\bullet w'\right)} \end{align}$

dove $N_{1+}\left(\bullet w\right)$ è il numero di contesti $w$ è stato visto o, più semplice, il numero di parole distinte $\bullet$ che precedono la parola data $w$ . Da quello che ho capito, la formula può essere applicata in modo ricorsivo.

Ora questo gestisce bene le parole conosciute in contesti sconosciuti per diverse lunghezze di n-grammi, ma ciò che non spiega è cosa fare quando ci sono parole fuori dal dizionario. Ho provato a seguire questo esempio che afferma che nella fase di ricorsione per unigrammi, $P_{cont}(/) = P^0_{KN}(/) = \frac{1}{V}$ . Il documento usa quindi questo - citando Chen e Goodman - per giustificare la formula sopra come $P^1_{KN}(w) = P_{cont}(w)$ .

Non riesco a vedere come funziona in presenza di una parola sconosciuta . In questi casi poiché, ovviamente, la parola sconosciuta non continua nulla riguardo al set di addestramento. Allo stesso modo il conteggio di n-grammi sarà .P c o n t ( sconosciuto ) = $w = \text{unknown}$ C(wn-1,sconosciuto)=$P_{cont}(\text{unknown}) = \frac{0}{\text{something}}$$C\left(w_{n-1}, \text{unknown}\right) = 0$

Inoltre, l'intero termine potrebbe essere zero se si incontra una sequenza di parole sconosciute - diciamo, un trigramma di parole OOD -.$\sum_{w'} C\left(w_{n-1}, w'\right)$

Cosa mi sto perdendo?

Dan Jurafsky ha pubblicato un capitolo sui modelli N-Gram che parla un po 'di questo problema:

Al termine della ricorsione, gli unigrammi sono interpolati con la distribuzione uniforme:

$\begin{align} P_{KN}(w) = \frac{\max(c_{KN}(w)-d,0)}{\sum_{w'}c_{KN}(w')}+\lambda(\epsilon)\frac{1}{|V|} \end{align}$

Se vogliamo includere una parola sconosciuta <UNK>, è appena inclusa come voce di vocabolario normale con conteggio zero, e quindi la sua probabilità sarà:

$\begin{align} \frac{\lambda(\epsilon)}{|V|} \end{align}$

Ho provato a scoprire cosa significa questo, ma non sono sicuro che significhi solo . Se questo è il caso, e supponi che mentre il conteggio va a zero, forse va in , secondo:$\epsilon$$\lim_{x\rightarrow0}x$$\lambda(\epsilon)$$d$

$\begin{align} \lambda(w_{i-1}) = \frac{d}{c(w_{i-1})}\vert\{w:c(w_{i-1},w)>0\}\vert \end{align}$

quindi alla parola sconosciuta viene assegnata solo una frazione dello sconto, ovvero:

$\begin{align} \frac{\lambda(\epsilon)}{|V|} = \frac{d}{|V|} \end{align}$

Non sono affatto sicuro di questa risposta, ma volevo farla uscire nel caso in cui susciti qualche altro pensiero.

Aggiornamento: scavando ancora un po ', sembra che sia tipicamente usato per indicare la stringa vuota (""), ma non è ancora chiaro come questo influisca sul calcolo di . è ancora la mia ipotesi migliore$\epsilon$$\lambda$$\frac{d}{|V|}$

Esistono molti modi per addestrare un modello <UNK>anche se Jurafsky suggerisce di scegliere quelle parole che ricorrono pochissime volte in allenamento e semplicemente cambiarle <UNK>.

Quindi semplicemente allena le probabilità come faresti normalmente.

Guarda questo video a partire dalle 3:40 -

https://class.coursera.org/nlp/lecture/19

Un altro approccio è semplicemente considerare una parola come <UNK>la prima volta che viene vista in allenamento, anche se dalla mia esperienza questo approccio assegna troppa massa di probabilità a <UNK>.

Solo alcuni pensieri, sono ben lungi dall'essere un esperto in materia, quindi non intendo fornire una risposta alla domanda, ma analizzarla.

La cosa semplice da fare sarebbe calcolare forzando la somma ad essere una. Ciò è ragionevole poiché la stringa vuota non viene mai vista nel set di addestramento (nulla può essere previsto dal nulla) e la somma deve essere una. In tal caso, λ ( ϵ ) può essere stimato con: $\lambda(\epsilon)$$\lambda(\epsilon)$

Un'altra opzione sarebbe quella di stimare la <unk>probabilità con i metodi menzionati da Randy e trattarla come un token regolare.

$\frac{\lambda(\epsilon)}{|V|}$