Statistiche e Big Data text-mining

2

Come calcolare la perplessità di un controllo con Allocazione latente di Dirichlet?

Sono confuso su come calcolare la perplessità di un campione di controllo quando si esegue Latent Dirichlet Allocation (LDA). I documenti sull'argomento si scatenano, facendomi pensare che mi manchi qualcosa di ovvio ... La perplessità è vista come una buona misura delle prestazioni per LDA. L'idea è di conservare un …

18 text-mining topic-models

5

Classificazione del testo su larga scala

Sto cercando di fare una classificazione sui miei dati di testo. Ho 300 classes, 200 documenti di formazione per classe (quindi 60000 documents in total) e questo probabilmente porterà a dati dimensionali molto alti (potremmo guardare oltre 1 milione di dimensioni ). Vorrei eseguire i seguenti passaggi nella pipeline (solo …

18 machine-learning classification text-mining

2

Perché il classificatore di regressione della cresta funziona abbastanza bene per la classificazione del testo?

Durante un esperimento per la classificazione del testo, ho scoperto che il classificatore di cresta genera risultati che completano costantemente i test tra quei classificatori che sono più comunemente citati e applicati per attività di estrazione del testo, come SVM, NB, kNN, ecc. Tuttavia, non ho elaborato sull'ottimizzazione di ogni …

18 machine-learning classification text-mining ridge-regression

1

Voglio costruire un indice di criminalità e un indice di instabilità politica basato su notizie

Ho questo progetto laterale in cui eseguo la scansione dei siti di notizie locali nel mio paese e voglio costruire un indice di criminalità e un indice di instabilità politica. Ho già coperto la parte relativa al recupero delle informazioni del progetto. Il mio piano è di fare: Estrazione di …

17 machine-learning classification text-mining

1

I parametri di input per l'utilizzo dell'allocazione Dirichlet latente

Quando si utilizza la modellazione degli argomenti (Allocazione direttrice latente), il numero di argomenti è un parametro di input che l'utente deve specificare. Mi sembra che dovremmo anche fornire una raccolta di set di argomenti candidati su cui il processo Dirichlet deve confrontarsi? La mia comprensione è corretta? In pratica, …

17 machine-learning bayesian clustering text-mining dirichlet-distribution

1

Previsione dell'argomento mediante allocazione latente di Dirichlet

Ho usato LDA su un corpus di documenti e ho trovato alcuni argomenti. L'output del mio codice è di due matrici contenenti probabilità; le probabilità di un argomento di un documento e le altre probabilità di un argomento di parola. Ma in realtà non so come usare questi risultati per …

17 text-mining topic-models

2

Quando uniamo la riduzione della dimensionalità al clustering?

Sto cercando di eseguire il clustering a livello di documento. Ho costruito la matrice di frequenza dei termini-documento e sto cercando di raggruppare questi vettori ad alta dimensione usando k-medie. Invece di raggruppare direttamente, quello che ho fatto è stato prima applicare la decomposizione vettoriale singolare di LSA (Latent Semantic …

16 clustering pca dimensionality-reduction text-mining svd

2

Qual è un buon metodo per il clustering di testo breve?

Sto lavorando a un problema di clustering di testo. I dati contengono diverse frasi. Esiste un buon algoritmo che raggiunge un'elevata precisione su testi brevi? Potete fornire buone referenze? Algoritmi come KMeans, clustering spettrale non funzionano bene per questo problema.

15 machine-learning clustering text-mining

4

Text Mining: come raggruppare i testi (ad es. Articoli di notizie) con l'intelligenza artificiale?

Ho creato alcune reti neurali (MLP (completamente connesse), Elman (ricorrenti)) per diversi compiti, come giocare a Pong, classificare cifre scritte a mano e cose ... Inoltre ho cercato di costruire alcune prime reti neurali convoluzionali, ad esempio per classificare note scritte a mano a più cifre, ma sono completamente nuovo …

15 clustering neural-networks feature-selection text-mining self-organizing-maps

3

Quali sono le differenze tra analisi semantica latente (LSA), indicizzazione semantica latente (LSI) e decomposizione a valore singolare (SVD)?

Questi termini vengono spesso messi insieme, ma vorrei sapere quali pensi siano le differenze, se ce ne sono. Grazie

15 pca text-mining svd

5

Come si fa la classificazione del testo di una classe?

Devo affrontare un problema di classificazione del testo. Un crawler Web esegue la scansione delle pagine Web di un determinato dominio e per ogni pagina Web voglio scoprire se appartiene a una sola classe specifica o meno. Cioè, se chiamo questa classe positiva , ogni pagina web sottoposta a scansione …

14 classification text-mining naive-bayes binary-data

3

Modelli di argomenti per documenti brevi

Ispirato da questa domanda , mi chiedo se sia stato fatto qualche lavoro su modelli di argomenti per grandi raccolte di testi estremamente brevi. La mia intuizione è che Twitter dovrebbe essere un'ispirazione naturale per tali modelli. Tuttavia, da una sperimentazione limitata, sembra che i modelli di argomenti standard (LDA, …

14 references text-mining topic-models natural-language

2

Esempi di mining di testo con R (pacchetto tm)

Ho trascorso tre giorni a dilettarmi tmdopo aver letto una bozza di un amico in cui ha esplorato un corpus di testo con UCINET, mostrando nuvole di testo, grafici di rete a due modalità e decomposizione a valore singolo (con grafica, usando Stata). Ho riscontrato un gran numero di problemi: …

14 r text-mining

2

In che modo gli n-grammi diventano controproducenti?

Quando si esegue l'elaborazione del linguaggio naturale, si può prendere un corpus e valutare la probabilità che la parola successiva si verifichi in una sequenza di n. n viene solitamente scelto come 2 o 3 (bigrammi e trigrammi). Esiste un punto noto in cui il rilevamento dei dati per l'ennesima …

13 text-mining natural-language

1

Estrazione automatica delle parole chiave: utilizzo delle somiglianze del coseno come funzionalità

Ho una matrice di documenti e ora vorrei estrarre parole chiave per ogni documento con un metodo di apprendimento supervisionato (SVM, Naive Bayes, ...). In questo modello, utilizzo già Tf-idf, tag Pos, ...MMM Ma ora mi chiedo dei prossimi. Ho una matrice con le somiglianze del coseno tra i termini.CCC …

12 text-mining feature-construction supervised-learning cosine-distance cosine-similarity

Domande taggate «text-mining»