Scienza dei dati

2

Regressione lineare con funzione di costo non simmetrica?

Voglio prevedere un valore e sto cercando di ottenere una previsione che ottimizzi tra l'essere il più basso possibile, ma che sia comunque maggiore di . In altre parole: Y ( x ) Y ( x ) costo { Y ( x ) ≳ Y ( x ) } > …

13 machine-learning logistic-regression

3

Con una classe sbilanciata, devo utilizzare sotto campionamento i miei set di dati di validazione / test?

Sono un principiante nell'apprendimento automatico e sto affrontando una situazione. Sto lavorando a un problema di offerta in tempo reale, con il set di dati IPinYou e sto provando a fare una previsione di clic. Il fatto è che, come forse saprai, il set di dati è molto sbilanciato: circa …

13 machine-learning dataset sampling

2

Come calcolare la media di una colonna del frame di dati e trovare il 10% superiore

Sono molto nuovo di Scala e Spark e sto lavorando ad alcuni esercizi fatti da sé usando le statistiche del baseball. Sto usando una classe di casi per creare un RDD e assegnare uno schema ai dati, quindi lo sto trasformando in un DataFrame in modo da poter usare SparkSQL …

13 apache-spark scala

2

Algoritmo efficiente per calcolare la curva ROC per un classificatore costituito da un insieme di classificatori disgiunti

Supponiamo che io abbia i classificatori C_1 ... C_n che sono disgiunti, nel senso che nessuno due restituirà true sullo stesso input (ad esempio i nodi in un albero decisionale). Voglio costruire un nuovo classificatore che è l'unione di alcuni sottogruppi di questi (ad esempio, voglio decidere su quali foglie …

13 algorithms

1

Qual è la differenza tra la generazione e l'estrazione di funzionalità?

Qualcuno può dirmi qual è lo scopo della generazione di funzionalità? e perché è necessario l'arricchimento dello spazio delle caratteristiche prima di classificare un'immagine? È un passo necessario? Esiste un metodo per arricchire lo spazio delle funzionalità?

13 machine-learning classification

1

Neo4j vs OrientDB vs Titan

Sto lavorando a un progetto di scienza dei dati relativo al mining delle relazioni sociali e ho bisogno di archiviare i dati in alcuni database di grafi. Inizialmente ho scelto Neo4j come database. Ma sembra che Neo4j non si ridimensioni bene. L'alternativa che ho scoperto sono Titan e oriebtDB. Ho …

13 data-mining graphs databases social-network-analysis

7

Sono un programmatore, come posso entrare nel campo della scienza dei dati?

Innanzitutto questo termine sembra così oscuro. Comunque ... sono un programmatore di software. Una delle lingue che posso codificare è Python. A proposito di dati, posso usare SQL e posso eseguire lo scraping dei dati. Quello che ho capito finora dopo aver letto così tanti articoli che Data Science è …

13 beginner career

1

Foreste casuali online aggiungendo più alberi delle decisioni singoli

Una foresta casuale (RF) è creata da un insieme di Decision Trees (DT). Utilizzando il bagging, ogni DT viene addestrato in un sottoinsieme di dati diverso. Quindi, esiste un modo per implementare una foresta casuale in linea aggiungendo ulteriori decisioni su nuovi dati? Ad esempio, abbiamo 10K campioni e addestriamo …

13 random-forest online-learning

2

Visualizzazione della formazione di reti neurali profonde

Sto cercando di trovare un equivalente dei diagrammi di Hinton per le reti multistrato per tracciare i pesi durante l'allenamento. La rete addestrata è in qualche modo simile a un Deep SRN, cioè ha un numero elevato di matrici a peso multiplo che renderebbero visivamente confuso il diagramma simultaneo di …

13 machine-learning neural-network visualization deep-learning

2

Quali caratteristiche vengono generalmente utilizzate dagli alberi di analisi nel processo di classificazione nella PNL?

Sto esplorando diversi tipi di strutture ad albero di analisi. Le due strutture ad albero di analisi ampiamente conosciute sono a) Albero di analisi basato sul collegio elettorale eb) Strutture ad albero di analisi basate sulla dipendenza. Sono in grado di utilizzare generare entrambi i tipi di strutture ad albero …

13 machine-learning nlp feature-selection feature-extraction

4

Studiare algoritmi di machine learning: profondità di comprensione vs. numero di algoritmi

Recentemente sono stato introdotto nel campo della Data Science (sono passati circa 6 mesi), e ho iniziato il viaggio con Machine Learning Course di Andrew Ng e post che hanno iniziato a lavorare sulla Data Science Specialization di JHU. Sul fronte delle applicazioni pratiche, ho lavorato alla costruzione di un …

13 machine-learning

1

Quando un database relazionale ha prestazioni migliori rispetto a un no relazionale

Quando un database relazionale, come MySQL, ha prestazioni migliori rispetto a un no relazionale, come MongoDB? Ho visto una domanda su Quora l'altro giorno, sul perché Quora utilizza ancora MySQL come backend e che le loro prestazioni sono ancora buone.

13 bigdata performance databases nosql

2

Analizzare i risultati del test A / B che non sono normalmente distribuiti, usando un test t indipendente

Ho una serie di risultati da un test A / B (un gruppo di controllo, un gruppo di funzioni) che non rientrano in una distribuzione normale. In effetti la distribuzione ricorda più da vicino la distribuzione di Landau. Credo che il test t indipendente richieda che i campioni siano almeno …

13 dataset statistics ab-test

6

Set di dati che comprendono le migliori pratiche

Sono uno studente master CS nel data mining. Il mio supervisore una volta mi disse che prima di eseguire qualsiasi classificatore o fare qualsiasi cosa con un set di dati, devo comprendere appieno i dati e assicurarmi che siano puliti e corretti. Le mie domande: Quali sono le migliori pratiche …

13 statistics dataset

4

Case study sui big data o esempio di utilizzo

Ho letto molti blog \ articoli su come i diversi tipi di settori utilizzano Big Data Analytic. Ma la maggior parte di questi articoli non menziona Che tipo di dati hanno usato queste aziende. Qual era la dimensione dei dati Che tipo di strumenti utilizzavano le tecnologie per elaborare i …

13 data-mining bigdata usecase