Scienza dei dati

5

Dovrei scegliere un set di dati "bilanciato" o un set di dati "rappresentativo"?

Il mio compito di "machine learning" è quello di separare il traffico Internet benigno dal traffico malevolo. Nello scenario del mondo reale, la maggior parte (diciamo del 90% o più) del traffico Internet è benigna. Quindi ho sentito che avrei dovuto scegliere una configurazione di dati simile per addestrare anche …

48 machine-learning dataset unbalanced-classes

9

Come gestire il controllo della versione di grandi quantità di dati (binari)

Sono un dottorando in Geofisica e lavoro con grandi quantità di dati di immagini (centinaia di GB, decine di migliaia di file). Lo so svne gitabbastanza bene e arriva a valorizzare la storia di un progetto, unita alla capacità di lavorare facilmente insieme e avere protezione contro la corruzione del …

46 bigdata databases binary version-control

9

Alternative IDE per la programmazione R (RStudio, IntelliJ IDEA, Eclipse, Visual Studio)

Uso RStudio per la programmazione R. Ricordo i solidi IDE di altri stack tecnologici, come Visual Studio o Eclipse. Ho due domande: Quali altri IDE oltre a RStudio sono utilizzati (si prega di considerare di fornire una breve descrizione su di essi). Qualcuno di loro ha notevoli vantaggi rispetto a …

46 r tools rstudio programming

10

Apprendimento automatico: funzionalità di ingegneria basata su dati di data / ora

Quali sono le pratiche migliori / comuni per gestire i dati temporali per l'applicazione di apprendimento automatico? Ad esempio, se nel set di dati è presente una colonna con data / ora dell'evento, ad esempio "05-05-2014", come è possibile estrarre funzioni utili da questa colonna? Grazie in anticipo!

45 machine-learning time-series feature-selection

9

Quanta della lotta ai dati è il lavoro di uno scienziato di dati?

Attualmente sto lavorando come data scientist presso una società di vendita al dettaglio (il mio primo lavoro come DS, quindi questa domanda potrebbe essere il risultato della mia mancanza di esperienza). Hanno un enorme arretrato di progetti di data science davvero importanti che avrebbero un grande impatto positivo se implementati. …

44 data-wrangling

3

Numero di parametri in un modello LSTM

Quanti parametri ha un singolo LSTM in pila? Il numero di parametri impone un limite inferiore al numero di esempi di allenamento richiesti e influenza anche il tempo di allenamento. Pertanto, conoscere il numero di parametri è utile per i modelli di training che utilizzano LSTM.

43 deep-learning rnn

4

Aggiunta di funzionalità al modello LSTM di serie storiche

ho letto un po 'su LSTM e il loro uso per le serie storiche ed è stato interessante ma allo stesso tempo difficile. Una cosa che ho avuto difficoltà a comprendere è l'approccio all'aggiunta di funzionalità aggiuntive a quello che è già un elenco di funzionalità di serie storiche. Supponendo …

43 machine-learning neural-network deep-learning time-series

6

Come posso trasformare i nomi in un set di dati confidenziali per renderlo anonimo, ma preservare alcune delle caratteristiche dei nomi?

Motivazione Lavoro con set di dati che contengono informazioni di identificazione personale (PII) e talvolta ho bisogno di condividere parte di un set di dati con terze parti, in un modo che non espone le PII e sottopone il mio datore di lavoro alla responsabilità. Il nostro approccio abituale qui …

42 data-cleaning anonymization

1

Qual è la differenza tra LeakyReLU e PReLU?

f( x ) = max ( x , α x ) con α ∈ ( 0 , 1 )f(X)=max(X,αX) con α∈(0,1)f(x) = \max(x, \alpha x) \qquad \text{ with } \alpha \in (0, 1) Keras, tuttavia, ha entrambe le funzioni nei documenti . Perdita ReLU Fonte di LeakyReLU : return K.relu(inputs, …

42 neural-network

9

ValueError: l'input contiene NaN, infinito o un valore troppo grande per dtype ('float32')

Ho ottenuto ValueError durante la previsione dei dati di test utilizzando un modello RandomForest. Il mio codice: clf = RandomForestClassifier(n_estimators=10, max_depth=6, n_jobs=1, verbose=2) clf.fit(X_fit, y_fit) df_test.fillna(df_test.mean()) X_test = df_test.values y_pred = clf.predict(X_test) L'errore: ValueError: Input contains NaN, infinity or a value too large for dtype('float32'). Come trovo i valori errati …

42 python random-forest pandas

2

Come preparare / aumentare le immagini per la rete neurale?

Vorrei utilizzare una rete neurale per la classificazione delle immagini. Inizierò con CaffeNet pre-addestrato e lo addestrerò per la mia applicazione. Come devo preparare le immagini di input? In questo caso, tutte le immagini sono dello stesso oggetto ma con variazioni (pensate: controllo di qualità). Sono in scale / risoluzioni …

41 neural-network image-classification preprocessing convnet

6

Somiglianza del coseno rispetto al punto prodotto come metriche di distanza

Sembra che la somiglianza del coseno di due caratteristiche sia solo il loro punto prodotto ridimensionato dal prodotto delle loro magnitudini. Quando la somiglianza del coseno rende una metrica di distanza migliore rispetto al prodotto punto? Vale a dire il prodotto punto e la somiglianza del coseno hanno diversi punti …

41 classification

5

GBM vs XGBOOST? Differenze chiave?

Sto cercando di capire le differenze chiave tra GBM e XGBOOST. Ho provato a cercarlo su Google, ma non sono riuscito a trovare buone risposte che spiegassero le differenze tra i due algoritmi e perché xgboost abbia quasi sempre prestazioni migliori di GBM. Cosa rende XGBOOST così veloce?

41 machine-learning algorithms xgboost ensemble-modeling gbm

4

Perché la dimensione del mini batch è migliore di un singolo "batch" con tutti i dati di addestramento?

Ho letto spesso che, nel caso dei modelli di Deep Learning, la pratica abituale è quella di applicare mini lotti (generalmente uno piccolo, 32/64) in diverse epoche di allenamento. Non riesco davvero a capire il motivo dietro questo. A meno che non mi sbagli, la dimensione del batch è il …

40 machine-learning deep-learning

10

Perché i modelli di Machine Learning sono chiamati scatole nere?

Stavo leggendo questo post del blog dal titolo: Il mondo finanziario vuole aprire le scatole nere di AI , in cui l'autore fa ripetutamente riferimento ai modelli ML come "scatole nere". Una terminologia simile è stata utilizzata in diversi punti quando si fa riferimento ai modelli ML. Perché è così? …

40 machine-learning terminology