Scienza dei dati

9

Train / Test / Validation Set Divisione in Sklearn

Come potrei dividere casualmente una matrice di dati e il corrispondente vettore di etichetta in X_train, X_test, X_val, y_train, y_test, y_val con Sklearn? Per quanto ne so, sklearn.cross_validation.train_test_splitè solo in grado di dividersi in due, non in tre ...

59 machine-learning scikit-learn

2

Support Vector Machines è ancora considerato "all'avanguardia" nella sua nicchia?

Questa domanda è in risposta a un commento che ho visto su un'altra domanda. Il commento riguardava il programma del corso di Machine Learning su Coursera e sulla falsariga di "SVM non sono usati così tanto al giorno d'oggi". Ho appena terminato da solo le lezioni pertinenti e la mia …

58 data-mining svm state-of-the-art

5

Quando viene adattato un modello?

La logica spesso afferma che aumentando la sua capacità di generalizzare, si riduce la sua capacità di generalizzare. Detto questo, chiaramente a un certo punto il sottofondo di un modello fa sì che i modelli peggiorino indipendentemente dalla complessità dei dati. Come fai a sapere quando il tuo modello ha …

56 efficiency algorithms parameter

4

In che modo le convoluzioni 1x1 sono le stesse di un livello completamente connesso?

Di recente ho letto il commento di Yan LeCuns su convoluzioni 1x1 : Nelle reti convoluzionali non esistono "livelli completamente connessi". Esistono solo livelli di convoluzione con kernel convoluzione 1x1 e una tabella di connessione completa. È un fatto troppo raro che ConvNets non abbia bisogno di un input di …

55 neural-network convnet

3

RNN vs CNN ad alto livello

Ho pensato alle reti neuronali ricorrenti (RNN) e alle loro varietà e alle reti neurali convoluzionali (CNN) e alle loro varietà. Sarebbe giusto dire questi due punti: Utilizzare le CNN per suddividere un componente (come un'immagine) in sottocomponenti (come un oggetto in un'immagine, come il contorno dell'oggetto nell'immagine, ecc.) Utilizzare …

53 machine-learning neural-network beginner

8

Perché le aziende Internet preferiscono Java / Python per il lavoro di data scientist?

Vedo molte volte nella descrizione del lavoro uno scienziato di dati che chiede esperienza in Python / Java e ignora R. Di seguito è un'e-mail personale che ho ricevuto dal capo scienziato di dati di una società per la quale ho fatto domanda tramite linkedin. X, grazie per esserti connesso …

53 beginner tools career reference-request

2

Quando utilizzare (He o Glorot) inizializzazione normale su init uniforme? E quali sono i suoi effetti con la normalizzazione batch?

Sapevo che Residual Network (ResNet) rendeva popolare la normale inizializzazione. In ResNet viene utilizzata l'inizializzazione normale He , mentre il primo livello utilizza l'inizializzazione uniforme He. Ho esaminato il documento ResNet e il documento "Delving Deep into Rectifiers" (He, documento di inizializzazione), ma non ho trovato alcuna menzione sul normale …

51 neural-network deep-learning normalization

8

Clustering coordinate di posizione geografica (lat, coppie lunghe)

Qual è il giusto approccio e algoritmo di clustering per il clustering di geolocalizzazione? Sto usando il seguente codice per raggruppare le coordinate di geolocalizzazione: import numpy as np import matplotlib.pyplot as plt from scipy.cluster.vq import kmeans2, whiten coordinates= np.array([ [lat, long], [lat, long], ... [lat, long] ]) x, y …

51 machine-learning python clustering k-means geospatial

9

Strumenti e protocollo per la scienza dei dati riproducibili utilizzando Python

Sto lavorando a un progetto di data science usando Python. Il progetto prevede diverse fasi. Ogni fase comprende l'acquisizione di un set di dati, l'utilizzo di script Python, dati ausiliari, configurazione e parametri e la creazione di un altro set di dati. Conservo il codice in git, quindi quella parte …

50 python tools version-control

3

Come combattere il sottofondo in una profonda rete neurale

Quando ho iniziato con le reti neurali artificiali (NN), ho pensato che avrei dovuto combattere il sovraprezzo come problema principale. Ma in pratica non riesco nemmeno a far superare la barriera del tasso di errore del mio NN al 20%. Non riesco nemmeno a battere il mio punteggio sulla foresta …

50 neural-network deep-learning

4

Allocazione latente di Dirichlet vs Processo gerarchico di Dirichlet

Latent Dirichlet Allocation (LDA) e Hierarchical Dirichlet Process (HDP) sono entrambi processi di modellazione degli argomenti. La differenza principale è che LDA richiede la specifica del numero di argomenti e HDP no. Perchè è così? E quali sono le differenze, i pro ei contro di entrambi i metodi di modellazione …

49 nlp topic-model lda

8

Perché il sovradimensionamento è errato nell'apprendimento automatico?

La logica spesso afferma che, sovradimensionando un modello, la sua capacità di generalizzazione è limitata, sebbene ciò possa significare solo che il sovradimensionamento impedisce a un modello di migliorare dopo una certa complessità. Il sovradimensionamento fa sì che i modelli peggiorino indipendentemente dalla complessità dei dati e, in tal caso, …

49 machine-learning predictive-modeling

5

Reti neurali: quale funzione di costo usare?

Sto usando TensorFlow per esperimenti principalmente con reti neurali. Anche se ho fatto alcuni esperimenti (XOR-Problem, MNIST, alcune cose di regressione, ...) ora, faccio fatica a scegliere la funzione di costo "corretta" per problemi specifici perché nel complesso potrei essere considerato un principiante. Prima di arrivare a TensorFlow ho codificato …

49 machine-learning python neural-network statistics tensorflow

9

Esiste un dominio in cui le reti bayesiane superano le reti neurali?

Le reti neurali ottengono migliori risultati in compiti di visione artificiale (vedi MNIST , ILSVRC , Kaggle Galaxy Sfida ). Sembrano sovraperformare ogni altro approccio in Computer Vision. Ma ci sono anche altri compiti: Sfida di attività molecolare di Kaggle Regressione: previsione Kaggle Rain , anche il 2 ° posto …

48 machine-learning pgm

9

Il linguaggio R è adatto per i Big Data

R ha molte librerie che si rivolgono all'analisi dei dati (ad esempio JAGS, BUGS, ARULES ecc.), Ed è menzionata in libri di testo popolari come: J.Krusche, Doing Bayesian Data Analysis; B.Lantz, "Apprendimento automatico con R". Ho visto una linea guida di 5 TB per un set di dati da considerare …

48 bigdata r