Statistiche e Big Data natural-language

2

Come viene calcolato il metodo .similarity in SpaCy?

Non sono sicuro se questo è il sito dello stack giusto, ma qui va. Come funziona il metodo .similiarity? Wow spaCy è fantastico! Il suo modello tfidf potrebbe essere più semplice, ma w2v con una sola riga di codice ?! Nel suo tutorial di 10 righe su spaCy andrazhribernik ci …

13 natural-language word2vec tf-idf nltk

3

Perché il softmax gerarchico è migliore per le parole rare, mentre il campionamento negativo è migliore per le parole frequenti?

Mi chiedo perché il softmax gerarchico sia migliore per le parole rare, mentre il campionamento negativo è meglio per le parole frequenti, nei modelli CBOW e skip-gram di word2vec. Ho letto il reclamo su https://code.google.com/p/word2vec/ .

12 natural-language word2vec word-embeddings softmax

2

Cattura di schemi iniziali quando si utilizza la backpropagation troncata nel tempo (RNN / LSTM)

Supponiamo che io usi un RNN / LSTM per fare l'analisi del sentiment, che è un approccio molti-a-uno (vedi questo blog ). La rete viene addestrata attraverso una backpropagation troncata nel tempo (BPTT), dove la rete viene srotolata solo per gli ultimi 30 passaggi. Nel mio caso, ciascuna delle mie …

12 neural-networks deep-learning natural-language backpropagation

2

Perché n-gram viene utilizzato nell'identificazione della lingua del testo anziché nelle parole?

In due famose librerie di identificazione linguistica, Compact Language Detector 2 per C ++ e rivelatore di lingua per Java, entrambi utilizzavano n-grammi (basati sui caratteri) per estrarre funzionalità di testo. Perché un bag-of-word (parola singola / dizionario) non viene utilizzato e qual è il vantaggio e lo svantaggio di …

12 machine-learning classification text-mining natural-language

2

Come applicare le reti neurali su problemi di classificazione multi-etichetta?

Descrizione: Lascia che il dominio problematico sia la classificazione dei documenti in cui esiste una serie di vettori di caratteristiche, ciascuno appartenente a 1 o più classi. Ad esempio, un documento doc_1potrebbe appartenere Sportse Englishcategorie. Domanda: Usando la rete neurale per la classificazione, quale sarebbe l'etichetta per un vettore caratteristica? …

12 machine-learning neural-networks natural-language multilabel

3

In che modo il modello skip-gram di Word2Vec genera i vettori di output?

Sto riscontrando problemi nel comprendere il modello skip-gram dell'algoritmo Word2Vec. Nel bag-of-word continuo è facile vedere come le parole di contesto possano "adattarsi" alla rete neurale, dal momento che in pratica le si calcola in media dopo aver moltiplicato ciascuna delle rappresentazioni di codifica a caldo singolo con la matrice …

11 neural-networks deep-learning natural-language word2vec word-embeddings

1

Algoritmi di incorporamento delle parole in termini di prestazioni

Sto cercando di incorporare circa 60 milioni di frasi in uno spazio vettoriale , quindi calcolare la somiglianza del coseno tra loro. Sto usando sklearn CountVectorizercon una funzione tokenizer personalizzata che produce unigrammi e bigrammi. Si scopre che per ottenere rappresentazioni significative, devo consentire un numero enorme di colonne, lineare …

11 machine-learning natural-language word2vec word-embeddings cosine-similarity

1

Chiarimento sulla massimizzazione delle aspettative

Ho trovato un tutorial molto utile per quanto riguarda l' algoritmo EM . L'esempio e l'immagine del tutorial sono semplicemente geniali. Domanda correlata sul calcolo delle probabilità come funziona la massimizzazione delle aspettative? Ho un'altra domanda su come collegare la teoria descritta nell'esercitazione all'esempio. gtgtg_tlogP( x ; Θ )log⁡P(x;Θ)\log P(x;\Theta)gt( …

11 machine-learning clustering algorithms natural-language

1

Quali sono i vantaggi e gli svantaggi di applicare informazioni reciproche puntuali su una matrice di occorrenze di parole prima di SVD?

Un modo per generare incorporamenti di parole è il seguente ( mirror ): Ottieni un corpora, ad es. "Mi piace volare. Mi piace la PNL. Mi piace l'apprendimento profondo." Costruisci la parola matrice di occorrenza da essa: Esegui SVD su XXX e mantieni le prime kkk colonne di U. U1:|V|,1:kU1:|V|,1:kU_{1:|V|,1:k} …

11 natural-language svd mutual-information word-embeddings language-models

2

Domanda su Continuous Bag of Words

Ho difficoltà a comprendere questa frase: La prima architettura proposta è simile all'NNLM feedforward, in cui viene rimosso lo strato nascosto non lineare e lo strato di proiezione è condiviso per tutte le parole (non solo la matrice di proiezione); quindi, tutte le parole vengono proiettate nella stessa posizione (i …

11 machine-learning neural-networks natural-language word-embeddings language-models

2

Gestire parole sconosciute nelle attività di modellazione del linguaggio usando LSTM

Per un'attività di elaborazione del linguaggio naturale (NLP) si usano spesso i vettori word2vec come incorporamento per le parole. Tuttavia, potrebbero esserci molte parole sconosciute che non vengono catturate dai vettori word2vec semplicemente perché queste parole non vengono visualizzate abbastanza spesso nei dati di addestramento (molte implementazioni usano un conteggio …

11 natural-language word2vec lstm word-embeddings

5

Come misurare la dispersione nei dati sulla frequenza delle parole?

Come posso quantificare la quantità di dispersione in un vettore di conteggi di parole? Sto cercando una statistica che sarà alta per il documento A, perché contiene molte parole diverse che si verificano raramente e bassa per il documento B, perché contiene una parola (o poche parole) che si presentano …

10 variance natural-language gini dispersion bag-of-words

1

Comprensione dell'uso dei logaritmi nel logaritmo TF-IDF

Stavo leggendo: https://en.wikipedia.org/wiki/Tf%E2%80%93idf#Definition Ma non riesco a capire esattamente perché la formula sia stata costruita così com'è. Cosa capisco: a un certo livello l'iDF dovrebbe misurare la frequenza con cui appare un termine S in ciascuno dei documenti, diminuendo di valore man mano che il termine appare più frequentemente. Da …

10 machine-learning clustering mathematical-statistics text-mining natural-language

3

Per quanto riguarda l'utilizzo del modello bigram (N-grammo) per costruire il vettore di funzionalità per il documento di testo

Un approccio tradizionale alla costruzione di feature per l'estrazione del testo è l'approccio bag-of-words e può essere migliorato usando tf-idf per impostare il vettore di feature che caratterizza un determinato documento di testo. Al momento, sto cercando di utilizzare il modello di linguaggio bi-gram o (N-gram) per creare il vettore …

10 machine-learning data-mining text-mining natural-language language-models

2

Come posso raggruppare le stringhe per temi comuni?

Sto tentando di raggruppare, ad esempio, stringhe sulla programmazione con altre stringhe sulla programmazione, stringhe sulla fisica con altre stringhe sulla fisica, ecc., Per una vasta gamma di argomenti. Nonostante l'evidente aspetto linguistico teorico del problema, sto cercando di farlo utilizzando la programmazione / il software. Il fatiscente: dato un …

10 natural-language data-mining

Domande taggate «natural-language»