Statistiche e Big Data word-embeddings

2

Che cos'è un livello di incorporamento in una rete neurale?

In molte librerie di reti neurali, ci sono "livelli di incorporamento", come in Keras o Lasagne . Non sono sicuro di averne compreso la funzione, nonostante abbia letto la documentazione. Ad esempio, nella documentazione di Keras si dice: Trasforma interi positivi (indici) in vettori di densi di dimensioni fisse, ad …

92 machine-learning neural-networks python word-embeddings

2

Come funziona il livello 'Incorporamento' di Keras?

È necessario comprendere il funzionamento del livello 'Incorporamento' nella libreria Keras. Eseguo il seguente codice in Python import numpy as np from keras.models import Sequential from keras.layers import Embedding model = Sequential() model.add(Embedding(5, 2, input_length=5)) input_array = np.random.randint(5, size=(1, 5)) model.compile('rmsprop', 'mse') output_array = model.predict(input_array) che fornisce il seguente output …

70 text-mining word-embeddings keras

3

Applica le incorporazioni di parole all'intero documento per ottenere un vettore di funzione

Come si usa l'incorporamento di parole per mappare un documento su un vettore di caratteristiche, adatto per l'uso con l'apprendimento supervisionato? Una parola che incorpora mappa ogni parola su un vettore , dove è un numero non troppo grande (ad esempio, 500). Gli incorporamenti di parole popolari includono word2vec e …

38 classification natural-language supervised-learning word2vec word-embeddings

1

Devo normalizzare i vettori di parole di word2vec prima di usarli?

Dopo aver addestrato i vettori di parole con word2vec, è meglio normalizzarli prima di usarli per alcune applicazioni a valle? Vale a dire quali sono i pro / contro di normalizzarli?

38 natural-language word2vec word-embeddings

3

R: Random Forest lancia NaN / Inf nell'errore di "richiamo della funzione esterna" nonostante nessuna NaN nel set di dati [chiuso]

Chiuso. Questa domanda è fuori tema . Al momento non accetta risposte. Vuoi migliorare questa domanda? Aggiorna la domanda in modo che sia in argomento per Cross Validated. Chiuso 2 anni fa . Sto usando il cursore per eseguire una foresta casuale convalidata in modo incrociato su un set di …

29 r random-forest caret regression prediction fitting social-science poisson-distribution distributions characteristic-function bayesian prior regression normal-distribution interaction nonparametric skewness svm standard-deviation standard-error regression-coefficients igraph natural-language word2vec word-embeddings regression machine-learning sampling r regression machine-learning random-forest ensemble sampling unbiased-estimator proof estimators mse probability conditional-probability bayes anova missing-data neural-networks recommender-system r confidence-interval sample multiple-imputation r time-series forecasting mase

1

Le prestazioni allo stato dell'arte riportate nell'uso dei vettori di paragrafo per l'analisi del sentiment sono state replicate?

Sono rimasto impressionato dai risultati del documento ICML 2014 " Rappresentazioni distribuite di frasi e documenti " di Le e Mikolov. La tecnica che descrivono, chiamata "vettori di paragrafo", apprende rappresentazioni senza supervisione di paragrafi / documenti arbitrariamente lunghi, basati su un'estensione del modello word2vec. Il documento riporta prestazioni all'avanguardia …

20 text-mining natural-language word-embeddings sentiment-analysis reproducible-research

1

Come funziona il campionamento negativo in word2vec?

Ho cercato di capire il concetto di campionamento negativo nel contesto di word2vec. Non riesco a digerire l'idea del campionamento [negativo]. Ad esempio, nei lavori di Mikolov viene formulata l'aspettativa di campionamento negativa come logσ( ⟨ W , c ⟩ ) + k ⋅ EcN∼ PD[ logσ( - ⟨ w …

19 machine-learning word2vec word-embeddings

3

Perché skip-gram è meglio per parole rare di CBOW?

Mi chiedo perché skip-gram sia meglio per le parole rare rispetto a CBOW in word2vec. Ho letto il reclamo su https://code.google.com/p/word2vec/ .

19 natural-language word2vec word-embeddings

2

Come viene addestrato il livello di incorporamento nel livello Incorporamento di Keras

Come viene addestrato il livello di incorporamento nel livello Incorporamento di Keras? (ad esempio usando tensorflow backend, il che significa che è simile a word2vec, glove o fasttext) Supponiamo di non utilizzare un incorporamento predefinito.

14 deep-learning keras word-embeddings

3

Perché il softmax gerarchico è migliore per le parole rare, mentre il campionamento negativo è migliore per le parole frequenti?

Mi chiedo perché il softmax gerarchico sia migliore per le parole rare, mentre il campionamento negativo è meglio per le parole frequenti, nei modelli CBOW e skip-gram di word2vec. Ho letto il reclamo su https://code.google.com/p/word2vec/ .

12 natural-language word2vec word-embeddings softmax

3

In che modo il modello skip-gram di Word2Vec genera i vettori di output?

Sto riscontrando problemi nel comprendere il modello skip-gram dell'algoritmo Word2Vec. Nel bag-of-word continuo è facile vedere come le parole di contesto possano "adattarsi" alla rete neurale, dal momento che in pratica le si calcola in media dopo aver moltiplicato ciascuna delle rappresentazioni di codifica a caldo singolo con la matrice …

11 neural-networks deep-learning natural-language word2vec word-embeddings

1

Algoritmi di incorporamento delle parole in termini di prestazioni

Sto cercando di incorporare circa 60 milioni di frasi in uno spazio vettoriale , quindi calcolare la somiglianza del coseno tra loro. Sto usando sklearn CountVectorizercon una funzione tokenizer personalizzata che produce unigrammi e bigrammi. Si scopre che per ottenere rappresentazioni significative, devo consentire un numero enorme di colonne, lineare …

11 machine-learning natural-language word2vec word-embeddings cosine-similarity

2

Come determinare i parametri per t-SNE per ridurre le dimensioni?

Sono molto nuovo con gli incantesimi di parole. Voglio visualizzare come stanno i documenti dopo l'apprendimento. Ho letto che t-SNE è l'approccio per farlo. Ho 100K documenti con 250 dimensioni come dimensione dell'incorporamento. Ci sono anche diversi pacchetti disponibili. Tuttavia, per t-SNE, non so quante iterazioni o il valore di …

11 pca dimensionality-reduction word2vec word-embeddings tsne

1

Quali sono i vantaggi e gli svantaggi di applicare informazioni reciproche puntuali su una matrice di occorrenze di parole prima di SVD?

Un modo per generare incorporamenti di parole è il seguente ( mirror ): Ottieni un corpora, ad es. "Mi piace volare. Mi piace la PNL. Mi piace l'apprendimento profondo." Costruisci la parola matrice di occorrenza da essa: Esegui SVD su XXX e mantieni le prime kkk colonne di U. U1:|V|,1:kU1:|V|,1:kU_{1:|V|,1:k} …

11 natural-language svd mutual-information word-embeddings language-models

2

Domanda su Continuous Bag of Words

Ho difficoltà a comprendere questa frase: La prima architettura proposta è simile all'NNLM feedforward, in cui viene rimosso lo strato nascosto non lineare e lo strato di proiezione è condiviso per tutte le parole (non solo la matrice di proiezione); quindi, tutte le parole vengono proiettate nella stessa posizione (i …

11 machine-learning neural-networks natural-language word-embeddings language-models

Domande taggate «word-embeddings»