Scienza dei dati

2

Risolvere un sistema di equazioni con dati sparsi

Sto tentando di risolvere un insieme di equazioni che ha 40 variabili indipendenti (x1, ..., x40) e una variabile dipendente (y). Il numero totale di equazioni (numero di righe) è ~ 300 e voglio risolvere l'insieme di 40 coefficienti che minimizza l'errore totale di somma dei quadrati tra y e …

11 machine-learning regression algorithms genetic

5

Come unire i dati mensili, giornalieri e settimanali?

Google Trends restituisce i dati settimanali, quindi devo trovare un modo per unirli con i miei dati giornalieri / mensili. Quello che ho fatto finora è stato di suddividere ogni serie in dati giornalieri, ad esempio: a partire dal: 2013-03-03 - 2013-03-09 37 per: 2013-03-03 37 2013-03-04 37 2013-03-05 37 …

11 time-series

4

Tecnica di estrazione delle caratteristiche - Riepilogo di una sequenza di dati

Sto spesso costruendo un modello (classificazione o regressione) in cui ho alcune variabili predittive che sono sequenze e ho cercato di trovare raccomandazioni tecniche per riassumere nel modo migliore possibile per l'inclusione come predittori nel modello. A titolo di esempio concreto, supponiamo che sia stato costruito un modello per prevedere …

11 machine-learning feature-selection time-series

3

Gli algoritmi di riduzione delle mappe scritti per MongoDB possono essere trasferiti su Hadoop in un secondo momento?

Nella nostra azienda, abbiamo un database MongoDB che contiene molti dati non strutturati, sui quali dobbiamo eseguire algoritmi di riduzione delle mappe per generare report e altre analisi. Abbiamo due approcci tra cui scegliere per l'implementazione delle analisi richieste: Un approccio consiste nell'estrarre i dati da MongoDB in un cluster …

11 scalability apache-hadoop map-reduce mongodb

4

GLM è un modello statistico o di apprendimento automatico?

Ho pensato che il modello lineare generalizzato (GLM) sarebbe stato considerato un modello statistico, ma un amico mi ha detto che alcuni articoli lo classificano come una tecnica di apprendimento automatico. Quale è vero (o più preciso)? Qualsiasi spiegazione sarebbe apprezzata.

11 machine-learning statistics glm

4

Algoritmo per la generazione di regole di classificazione

Quindi abbiamo il potenziale per un'applicazione di machine learning che si adatta abbastanza bene al tradizionale dominio problematico risolto dai classificatori, cioè abbiamo un insieme di attributi che descrivono un elemento e un "secchio" in cui finiscono. Tuttavia, piuttosto che creare modelli di probabilità come in Naive Bayes o classificatori …

11 machine-learning classification

2

Dropout su quali livelli di LSTM?

Utilizzando un multi-layer LSTMcon dropout, è consigliabile inserire il dropout su tutti i layer nascosti e sui layer Dense di output? Nel documento di Hinton (che proponeva il Dropout) metteva il Dropout solo sui livelli Dense, ma ciò era dovuto al fatto che gli strati interni nascosti erano convoluzionali. Ovviamente, …

11 neural-network lstm rnn dropout stacked-lstm

1

Come utilizzare la propagazione dell'etichetta Scikit-Learn su dati strutturati grafici?

Come parte della mia ricerca, sono interessato a eseguire la propagazione delle etichette su un grafico. Sono particolarmente interessato a questi due metodi: Xiaojin Zhu e Zoubin Ghahramani. Imparare da dati etichettati e senza etichetta con la propagazione delle etichette. Rapporto tecnico CMU-CALD-02-107, Carnegie Mellon University, 2002 http://pages.cs.wisc.edu/~jerryzhu/pub/CMU-CALD-02-107.pdf Dengyong Zhou, …

11 scikit-learn graphs

3

Qual è la differenza tra un vettore di hashing e un vettore di tfidf

Sto convertendo un corpus di documenti di testo in vettori di parole per ogni documento. Ho provato questo usando un TfidfVectorizer e un HashingVectorizer Capisco che a HashingVectorizernon prende in considerazione i IDFpunteggi come TfidfVectorizerfa. Il motivo per cui sto ancora lavorando con a HashingVectorizerè la flessibilità che offre durante …

11 nlp scikit-learn text-mining tfidf

3

Reti neurali - Correlazione di perdita e precisione

Sono un po 'confuso dalla coesistenza delle metriche di perdita e precisione nelle reti neurali. Entrambi dovrebbero rendere "l'esattezza" del confronto tra e , vero? Quindi l'applicazione dei due non è ridondante nelle epoche di addestramento? Inoltre, perché non sono correlati?yyyyy^y^\hat{y}

11 neural-network evaluation

3

TensorFlow è una libreria di apprendimento automatico completa?

Sono nuovo di TensorFlow e ho bisogno di capire le capacità e le carenze di TensorFlow prima di poterlo utilizzare. So che si tratta di un framework di apprendimento profondo, ma a parte quello che altri algoritmi di apprendimento automatico possono usare con il flusso tensoriale. Ad esempio, possiamo usare …

11 machine-learning

2

Domanda sulla distorsione nelle reti convoluzionali

Sto cercando di capire quanti pesi e distorsioni sono necessari per la CNN. Supponi di avere un'immagine (3, 32, 32) e di voler applicare un filtro (32, 5, 5). Per ogni mappa caratteristica ho pesi 5x5, quindi dovrei avere 3 parametri (5x5) x 32. Ora devo aggiungere il pregiudizio. Credo …

11 deep-learning convnet backpropagation

4

Quale primo: benchmarking dell'algoritmo, selezione delle caratteristiche, regolazione dei parametri?

Quando provo a fare ad esempio una classificazione, il mio approccio attualmente è quello di provare prima vari algoritmi e confrontarli eseguire la selezione delle funzioni sul miglior algoritmo da 1 in alto ottimizzare i parametri utilizzando le funzioni e l'algoritmo selezionati Tuttavia, spesso non riesco a convincermi che potrebbe …

11 feature-selection parameter-estimation

3

Gli alberi di regressione possono prevedere continuamente?

Supponiamo che io abbia una funzione regolare come . Ho un set di addestramento e, ovviamente, non conosco anche se posso valutare dove voglio.f(x,y)=x2+y2f(x,y)=x2+y2f(x, y) = x^2+y^2D⊊{((x,y),f(x,y))|(x,y)∈R2}D⊊{((x,y),f(x,y))|(x,y)∈R2}D \subsetneq \{((x, y), f(x,y)) | (x,y) \in \mathbb{R}^2\}ffffff Gli alberi di regressione sono in grado di trovare un modello uniforme della funzione (quindi …

11 predictive-modeling regression decision-trees

2

Come convertire i dati categorici in dati numerici in Pyspark

Sto usando il notebook Ipython per lavorare con le applicazioni pyspark. Ho un file CSV con molte colonne categoriche per determinare se il reddito rientra o supera l'intervallo 50k. Vorrei eseguire un algoritmo di classificazione prendendo tutti gli input per determinare l'intervallo di reddito. Ho bisogno di costruire un dizionario …

11 python apache-spark categorical-data pyspark