Statistiche e Big Data word2vec

5

Sto cercando di capire cos'è la somiglianza tra Allocazione latente di Dirichlet e word2vec per calcolare la somiglianza delle parole. A quanto ho capito, LDA associa le parole a un vettore di probabilità di argomenti latenti , mentre word2vec le associa a un vettore di numeri reali (relativi alla scomposizione …

39 machine-learning self-study natural-language latent-variable word2vec

3

Applica le incorporazioni di parole all'intero documento per ottenere un vettore di funzione

Come si usa l'incorporamento di parole per mappare un documento su un vettore di caratteristiche, adatto per l'uso con l'apprendimento supervisionato? Una parola che incorpora mappa ogni parola su un vettore , dove è un numero non troppo grande (ad esempio, 500). Gli incorporamenti di parole popolari includono word2vec e …

38 classification natural-language supervised-learning word2vec word-embeddings

1

Devo normalizzare i vettori di parole di word2vec prima di usarli?

Dopo aver addestrato i vettori di parole con word2vec, è meglio normalizzarli prima di usarli per alcune applicazioni a valle? Vale a dire quali sono i pro / contro di normalizzarli?

38 natural-language word2vec word-embeddings

3

R: Random Forest lancia NaN / Inf nell'errore di "richiamo della funzione esterna" nonostante nessuna NaN nel set di dati [chiuso]

Chiuso. Questa domanda è fuori tema . Al momento non accetta risposte. Vuoi migliorare questa domanda? Aggiorna la domanda in modo che sia in argomento per Cross Validated. Chiuso 2 anni fa . Sto usando il cursore per eseguire una foresta casuale convalidata in modo incrociato su un set di …

29 r random-forest caret regression prediction fitting social-science poisson-distribution distributions characteristic-function bayesian prior regression normal-distribution interaction nonparametric skewness svm standard-deviation standard-error regression-coefficients igraph natural-language word2vec word-embeddings regression machine-learning sampling r regression machine-learning random-forest ensemble sampling unbiased-estimator proof estimators mse probability conditional-probability bayes anova missing-data neural-networks recommender-system r confidence-interval sample multiple-imputation r time-series forecasting mase

1

Come funziona il campionamento negativo in word2vec?

Ho cercato di capire il concetto di campionamento negativo nel contesto di word2vec. Non riesco a digerire l'idea del campionamento [negativo]. Ad esempio, nei lavori di Mikolov viene formulata l'aspettativa di campionamento negativa come logσ( ⟨ W , c ⟩ ) + k ⋅ EcN∼ PD[ logσ( - ⟨ w …

19 machine-learning word2vec word-embeddings

3

Perché skip-gram è meglio per parole rare di CBOW?

Mi chiedo perché skip-gram sia meglio per le parole rare rispetto a CBOW in word2vec. Ho letto il reclamo su https://code.google.com/p/word2vec/ .

19 natural-language word2vec word-embeddings

4

Interpretazione della somiglianza del coseno negativo

La mia domanda potrebbe essere sciocca. Quindi mi scuserò in anticipo. Stavo cercando di utilizzare il modello GLOVE pre-addestrato dal gruppo Stanford NLP ( link ). Tuttavia, ho notato che i miei risultati di somiglianza hanno mostrato alcuni numeri negativi. Ciò mi ha immediatamente spinto a guardare il file di …

17 machine-learning word2vec cosine-similarity

2

Come viene calcolato il metodo .similarity in SpaCy?

Non sono sicuro se questo è il sito dello stack giusto, ma qui va. Come funziona il metodo .similiarity? Wow spaCy è fantastico! Il suo modello tfidf potrebbe essere più semplice, ma w2v con una sola riga di codice ?! Nel suo tutorial di 10 righe su spaCy andrazhribernik ci …

13 natural-language word2vec tf-idf nltk

3

Perché il softmax gerarchico è migliore per le parole rare, mentre il campionamento negativo è migliore per le parole frequenti?

Mi chiedo perché il softmax gerarchico sia migliore per le parole rare, mentre il campionamento negativo è meglio per le parole frequenti, nei modelli CBOW e skip-gram di word2vec. Ho letto il reclamo su https://code.google.com/p/word2vec/ .

12 natural-language word2vec word-embeddings softmax

3

In che modo il modello skip-gram di Word2Vec genera i vettori di output?

Sto riscontrando problemi nel comprendere il modello skip-gram dell'algoritmo Word2Vec. Nel bag-of-word continuo è facile vedere come le parole di contesto possano "adattarsi" alla rete neurale, dal momento che in pratica le si calcola in media dopo aver moltiplicato ciascuna delle rappresentazioni di codifica a caldo singolo con la matrice …

11 neural-networks deep-learning natural-language word2vec word-embeddings

1

Algoritmi di incorporamento delle parole in termini di prestazioni

Sto cercando di incorporare circa 60 milioni di frasi in uno spazio vettoriale , quindi calcolare la somiglianza del coseno tra loro. Sto usando sklearn CountVectorizercon una funzione tokenizer personalizzata che produce unigrammi e bigrammi. Si scopre che per ottenere rappresentazioni significative, devo consentire un numero enorme di colonne, lineare …

11 machine-learning natural-language word2vec word-embeddings cosine-similarity

2

Come determinare i parametri per t-SNE per ridurre le dimensioni?

Sono molto nuovo con gli incantesimi di parole. Voglio visualizzare come stanno i documenti dopo l'apprendimento. Ho letto che t-SNE è l'approccio per farlo. Ho 100K documenti con 250 dimensioni come dimensione dell'incorporamento. Ci sono anche diversi pacchetti disponibili. Tuttavia, per t-SNE, non so quante iterazioni o il valore di …

11 pca dimensionality-reduction word2vec word-embeddings tsne

2

Gestire parole sconosciute nelle attività di modellazione del linguaggio usando LSTM

Per un'attività di elaborazione del linguaggio naturale (NLP) si usano spesso i vettori word2vec come incorporamento per le parole. Tuttavia, potrebbero esserci molte parole sconosciute che non vengono catturate dai vettori word2vec semplicemente perché queste parole non vengono visualizzate abbastanza spesso nei dati di addestramento (molte implementazioni usano un conteggio …

11 natural-language word2vec lstm word-embeddings

1

Derivata della perdita di entropia crociata in word2vec

Sto cercando di superare la prima serie di problemi del materiale del corso di classe Stanford cs224d online e sto riscontrando alcuni problemi con il problema 3A: quando si utilizza il modello skip gram word2vec con la funzione di previsione softmax e la funzione di perdita incrociata dell'entropia, noi desidera …

10 machine-learning self-study word2vec

1

Sfumature per skipgram word2vec

Sto attraversando i problemi dei problemi di assegnazione scritta del corso di apprendimento profondo della PNL di Stanford http://cs224d.stanford.edu/assignment1/assignment1_soln Sto cercando di capire la risposta per 3a dove stanno cercando la derivata del vettore per la parola centrale. Supponiamo che ti venga dato un vettore di parola previsto corrispondente alla …

9 self-study neural-networks backpropagation word2vec

Domande taggate «word2vec»