Scienza dei dati

2

Classificazione dei documenti mediante rete neurale convoluzionale

Sto cercando di usare la CNN (rete neurale convoluzionale) per classificare i documenti. La CNN per brevi testi / frasi è stata studiata in molti articoli. Tuttavia, sembra che nessun documento abbia usato la CNN per lunghi testi o documenti. Il mio problema è che ci sono troppe funzioni da …

11 classification neural-network text-mining convnet word2vec

2

Come funzionano i "riconoscitori di intenti"?

Amazon Alexa , Nuance's Mix e Facebook Wit.ai utilizzano tutti un sistema simile per specificare come convertire un comando di testo in un intento, ovvero qualcosa che un computer potrebbe capire. Non sono sicuro di quale sia il nome "ufficiale" per questo, ma lo chiamo "riconoscimento intento". Fondamentalmente un modo …

11 machine-learning nlp

3

Come faccio a creare un grafico a dispersione interattivo PCA in Python?

La libreria matplotlib è molto capace ma manca di interattività, specialmente all'interno di Jupyter Notebook. Vorrei una buona linea strumento come tracciato plot.ly .

11 python visualization pca jupyter

1

Come determinare se la sequenza di caratteri è parola inglese o rumore

Che tipo di funzionalità proverai ad estrarre dall'elenco di parole per la previsione futura, è una parola esistente o solo un pasticcio di caratteri? C'è una descrizione dell'attività che ho trovato lì . Devi scrivere un programma in grado di rispondere se una determinata parola è inglese. Sarebbe facile - …

11 machine-learning nlp text-mining algorithms

4

Come word2vec può essere usato per identificare parole non viste e metterle in relazione con dati già addestrati

Stavo lavorando sul modello gensim di word2vec e l'ho trovato davvero interessante. Sono interessato a scoprire come una parola sconosciuta / invisibile, se verificata con il modello, sarà in grado di ottenere termini simili dal modello addestrato. È possibile? Word2Vec può essere ottimizzato per questo? O il corpus di formazione …

11 nlp deep-learning word-embeddings unsupervised-learning

3

Classi squilibrate - Come ridurre al minimo i falsi negativi?

Ho un set di dati che ha un attributo di classe binaria. Ci sono 623 casi con classe +1 (positivo al cancro) e 101.671 casi con classe -1 (negativo al cancro). Ho provato vari algoritmi (Naive Bayes, Random Forest, AODE, C4.5) e tutti hanno inaccettabili rapporti di falsi negativi. Random …

11 classification random-forest decision-trees unbalanced-classes

1

applicando word2vec su piccoli file di testo

Sono totalmente nuovo in word2vec, quindi ti prego di sopportarlo. Ho un set di file di testo ciascuno contenente un set di tweet, tra 1000-3000. Ho scelto una parola chiave comune ("kw1") e voglio trovare termini semanticamente rilevanti per "kw1" usando word2vec. Ad esempio, se la parola chiave è "apple", …

11 machine-learning nlp text-mining

3

Problema con IPython / Jupyter su Spark (alias non riconosciuto)

Sto lavorando alla configurazione di una serie di VM per sperimentare Spark prima di spendere e spendere soldi per costruire un cluster con dell'hardware. Nota veloce: sono un accademico con un background nell'apprendimento automatico applicato e lavoro un po 'abbandonato nella scienza dei dati. Uso gli strumenti per l'informatica, raramente …

11 python apache-spark pyspark ipython

4

Come evitare l'adattamento eccessivo nella foresta casuale?

Voglio evitare il sovradimensionamento nella foresta casuale. A questo proposito, intendo utilizzare mtry, nodesize, maxnodi ecc. Potreste aiutarmi, per favore, a scegliere i valori per questi parametri? Sto usando R. Inoltre, se possibile, per favore dimmi come posso usare la validazione incrociata di k-fold per la foresta casuale (in R).

11 machine-learning data-mining r predictive-modeling random-forest

7

Scraping web di LinkedIn

Di recente ho scoperto un nuovo pacchetto R per la connessione all'API di LinkedIn. Sfortunatamente l'API di LinkedIn sembra piuttosto limitata all'inizio; ad esempio, è possibile ottenere solo dati di base sulle aziende e questi sono distaccati dai dati sugli individui. Vorrei ottenere dati su tutti i dipendenti di una …

11 data-mining social-network-analysis crawling scraping

1

Soluzioni per l'identificazione continua di cluster online?

Lascia che ti mostri un esempio di un'ipotetica applicazione di clustering online: Al momento n punti 1,2,3,4 sono assegnati al gruppo blu A e punti b, 5,6,7 sono assegnati al gruppo rosso B. Al tempo n + 1 viene introdotto un nuovo punto a che viene assegnato al cluster blu …

11 machine-learning clustering

3

Macchine per la fattorizzazione consapevoli sul campo

Qualcuno può spiegare in che modo le macchine per la fattorizzazione consapevoli sul campo (FFM) sono paragonabili alle macchine per la fattorizzazione standard (FM)? Standard: http://www.ismll.uni-hildesheim.de/pub/pdfs/Rendle2010FM.pdf "Field Aware": http://www.csie.ntu.edu.tw/~r01922136/kaggle-2014-criteo.pdf

11 machine-learning recommender-system

1

Fisher Scoring v / s Discesa coordinata per MLE in R

La funzione di base R glm()utilizza Fishers Scoring per MLE, mentre glmnetsembra utilizzare il metodo di discesa delle coordinate per risolvere la stessa equazione. La discesa coordinata è più efficiente in termini di tempo rispetto al punteggio Fisher, in quanto il punteggio Fisher calcola la matrice derivata del secondo ordine, …

11 machine-learning r algorithms optimization

2

Rete neurale per il monitoraggio del server

Sto esaminando Pybrain per aver preso gli allarmi di monitoraggio del server e per determinare la causa principale di un problema. Sono contento di allenarlo utilizzando l'apprendimento supervisionato e curando i set di dati di allenamento. I dati sono strutturati in questo modo: Server Tipo A # 1 Tipo di …

11 machine-learning neural-network

3

Costruisci un classificatore binario con solo dati positivi e senza etichetta

Ho 2 set di dati, uno con istanze positive di ciò che vorrei rilevare e uno con istanze senza etichetta. Quali metodi posso usare? Ad esempio, supponiamo di voler comprendere il rilevamento di e-mail di spam sulla base di alcune caratteristiche e-mail strutturate. Abbiamo un set di dati di 10000 …

11 classification semi-supervised-learning