Scienza dei dati

2

Conseguenza del ridimensionamento delle funzioni

Attualmente sto usando SVM e ridimensionando le mie funzioni di allenamento nella gamma di [0,1]. Prima inserisco / trasformo il mio set di allenamento e quindi applico la stessa trasformazione al mio set di test. Per esempio: ### Configure transformation and apply to training set min_max_scaler = MinMaxScaler(feature_range=(0, 1)) X_train …

11 machine-learning svm feature-scaling

4

Utilizzo del clustering nell'elaborazione del testo

Ciao, questa è la mia prima domanda nello stack di Data Science. Voglio creare un algoritmo per la classificazione del testo. Supponiamo che io abbia una grande serie di testi e articoli. Diciamo circa 5000 semplici testi. Per prima cosa uso una semplice funzione per determinare la frequenza di tutte …

11 text-mining clustering

3

Quale regressione utilizzare per calcolare il risultato delle elezioni in un sistema multipartitico?

Voglio fare una previsione per il risultato delle elezioni parlamentari. La mia produzione sarà la% che ciascuna parte riceve. Vi sono più di 2 parti, quindi la regressione logistica non è un'opzione praticabile. Potrei fare una regressione separata per ciascuna parte, ma in tal caso i risultati sarebbero in qualche …

11 classification r python regression predictive-modeling

2

Contabilità delle prove e dei risultati dell'esperimento

Sono un ricercatore e mi piace testare soluzioni praticabili, quindi tendo a fare molti esperimenti. Ad esempio, se sto calcolando un punteggio di somiglianza tra documenti, potrei voler provare molte misure. In effetti, per ciascuna misura potrebbe essere necessario eseguire diverse corse per testare l'effetto di alcuni parametri. Finora, ho …

11 tools experiments

3

Relazione tra KS, AUROC e Gini

Le statistiche comuni di validazione del modello come il test di Kolmogorov – Smirnov (KS), AUROC e coefficiente di Gini sono tutte funzionalmente correlate. Tuttavia, la mia domanda ha a che fare con la dimostrazione di come siano tutti correlati. Sono curioso di sapere se qualcuno mi può aiutare a …

11 data-mining statistics predictive-modeling accuracy

3

Apprendimento senza supervisione delle funzionalità per NER

Ho implementato il sistema NER con l'uso dell'algoritmo CRF con le mie caratteristiche artigianali che hanno dato risultati abbastanza buoni. Il fatto è che ho usato molte funzionalità diverse tra cui tag POS e lemmi. Ora voglio creare lo stesso NER per una lingua diversa. Il problema qui è che …

11 nlp text-mining feature-extraction

1

Implementazione di t-SNE Python: divergenza di Kullback-Leibler

t-SNE, come in [1], agisce riducendo progressivamente la divergenza di Kullback-Leibler (KL), fino a quando non viene soddisfatta una certa condizione. I creatori di t-SNE suggeriscono di usare la divergenza di KL come criterio di prestazione per le visualizzazioni: puoi confrontare le divergenze di Kullback-Leibler riportate da t-SNE. Va benissimo …

11 machine-learning python

3

Visualizzazione dei dati per l'analisi del modello (indipendente dalla lingua, ma preferita da R)

Voglio tracciare i byte da un'immagine del disco per capire un modello in essi. Questo è principalmente un compito accademico, poiché sono quasi sicuro che questo modello sia stato creato da un programma di test del disco, ma mi piacerebbe comunque decodificarlo. So già che il modello è allineato, con …

11 r visualization

4

Lavorare con i cluster HPC

Nella mia università, abbiamo un cluster di elaborazione HPC. Uso il cluster per addestrare classificatori e così via. Quindi, di solito, per inviare un lavoro al cluster, (ad esempio script python scikit-learn), devo scrivere uno script Bash che contenga (tra gli altri) un comando simile qsub script.py. Tuttavia, trovo questo …

11 bigdata data-mining

4

Dove posso scaricare i dati storici sulla capitalizzazione di mercato e sul turnover giornaliero delle azioni?

Esistono molte fonti che forniscono i dati storici sullo stock ma forniscono solo i campi OHLC insieme al volume e alla chiusura corretta. Anche un paio di fonti che ho trovato forniscono set di dati sulla capitalizzazione di mercato, ma sono limitati ai titoli statunitensi. Yahoo Finance fornisce questi dati …

11 dataset

3

Set di dati orientato alla scienza dei dati / domanda di ricerca per tesi di laurea magistrale in statistica

Mi piacerebbe esplorare la "scienza dei dati". Il termine mi sembra un po 'vago, ma mi aspetto che richieda: apprendimento automatico (piuttosto che statistiche tradizionali); un set di dati abbastanza grande che è necessario eseguire analisi sui cluster. Quali sono alcuni buoni set di dati e problemi, accessibili a uno …

11 statistics education knowledge-base definitions

3

Come elaborare le query in linguaggio naturale?

Sono curioso di interrogare il linguaggio naturale. Stanford ha quello che sembra essere un potente set di software per l'elaborazione del linguaggio naturale . Ho anche visto la libreria Apache OpenNLP e l' architettura generale per l'ingegneria del testo . Esistono moltissimi usi per l'elaborazione del linguaggio naturale e ciò …

11 nlp

4

La regressione logistica è in realtà un algoritmo di regressione?

La consueta definizione di regressione (per quanto ne so) prevede una variabile di output continua da un determinato set di variabili di input . La regressione logistica è un algoritmo di classificazione binaria, quindi produce un output categoriale. È davvero un algoritmo di regressione? Se è così, perché?

11 algorithms logistic-regression

1

scikit-learn parametro n_jobs su utilizzo e memoria della CPU

Nella maggior parte degli stimatori su scikit-learn, c'è un n_jobsparametro in fit/ predictmetodi per creare lavori paralleli usando joblib. Ho notato che impostandolo su -1crea solo 1 processo Python e massimizza i core, facendo sì che l'utilizzo della CPU raggiunga il 2500% in cima. Questo è abbastanza diverso dall'impostarlo su …

11 python scikit-learn

5

Quando rimuovere le variabili correlate

Qualcuno può suggerire qual è la fase corretta per rimuovere le variabili correlate prima dell'ingegnerizzazione delle funzionalità o dopo l'ingegneria delle funzionalità?

11 machine-learning feature-selection data-science-model