Statistiche e Big Data language-models

3

Nel livellamento di Kneser-Ney, come vengono gestite le parole invisibili?

Da quello che ho visto, la formula di lisciatura di Kneser-Ney (di secondo ordine) è in qualche modo data come P2KN(wn| wn - 1)= max {C( wn - 1,wn) - D , 0 }Σw'C( wn - 1, w')+ λ ( wn - 1) × Pc o n t( wn)PKN2(wn|wn-1)=max{C(wn-1,wn)-D,0}Σw'C(wn-1,w')+λ(wn-1)×Pcont(wn) \begin{align} …

15 machine-learning natural-language naive-bayes smoothing language-models

1

Quali sono i vantaggi e gli svantaggi di applicare informazioni reciproche puntuali su una matrice di occorrenze di parole prima di SVD?

Un modo per generare incorporamenti di parole è il seguente ( mirror ): Ottieni un corpora, ad es. "Mi piace volare. Mi piace la PNL. Mi piace l'apprendimento profondo." Costruisci la parola matrice di occorrenza da essa: Esegui SVD su XXX e mantieni le prime kkk colonne di U. U1:|V|,1:kU1:|V|,1:kU_{1:|V|,1:k} …

11 natural-language svd mutual-information word-embeddings language-models

2

Domanda su Continuous Bag of Words

Ho difficoltà a comprendere questa frase: La prima architettura proposta è simile all'NNLM feedforward, in cui viene rimosso lo strato nascosto non lineare e lo strato di proiezione è condiviso per tutte le parole (non solo la matrice di proiezione); quindi, tutte le parole vengono proiettate nella stessa posizione (i …

11 machine-learning neural-networks natural-language word-embeddings language-models

3

Per quanto riguarda l'utilizzo del modello bigram (N-grammo) per costruire il vettore di funzionalità per il documento di testo

Un approccio tradizionale alla costruzione di feature per l'estrazione del testo è l'approccio bag-of-words e può essere migliorato usando tf-idf per impostare il vettore di feature che caratterizza un determinato documento di testo. Al momento, sto cercando di utilizzare il modello di linguaggio bi-gram o (N-gram) per creare il vettore …

10 machine-learning data-mining text-mining natural-language language-models

Domande taggate «language-models»