Scienza dei dati

5

I dati nel nostro DBMS relazionale stanno diventando grandi, è il momento di passare a NoSQL?

Abbiamo creato un'applicazione di social network per scopi di e-learning. È un progetto sperimentale su cui stiamo effettuando ricerche nel nostro laboratorio. È stato usato in alcuni casi di studio per un po 'di tempo e i dati nel nostro DBMS relazionale (SQL Server 2008) stanno diventando grandi. Sono pochi …

17 nosql relational-dbms

1

Come funziona il parametro validation_split della funzione fit di Keras?

La suddivisione della convalida nella funzione di adattamento del modello sequenziale di Keras è documentata come segue su https://keras.io/models/sequential/ : validation_split: Float tra 0 e 1. Frazione dei dati di allenamento da utilizzare come dati di validazione. Il modello separerà questa frazione dei dati di addestramento, non si allenerà su …

17 keras data cross-validation

2

Perché utilizzare sia il set di validazione che il set di test?

Considera una rete neurale: Per un determinato set di dati, li dividiamo in training, validazione e set di test. Supponiamo di farlo nel classico rapporto 60:20:20, quindi preveniamo il sovradimensionamento convalidando la rete controllandola sul set di convalida. Quindi qual è la necessità di testarlo sul set di test per …

17 machine-learning neural-network cross-validation

3

Come calcolare l'impatto della memoria mini-batch durante l'allenamento dei modelli di apprendimento profondo?

Sto cercando di calcolare la quantità di memoria necessaria a una GPU per addestrare il mio modello sulla base di queste note di Andrej Karphaty: http://cs231n.github.io/convolutional-networks/#computational-considerations La mia rete ha 532.752 attivazioni e 19.072.984 parametri (pesi e distorsioni). Questi sono tutti valori float a 32 bit, quindi ognuno richiede 4 …

17 deep-learning tensorflow

4

Qualche "regola empirica" sul numero di funzionalità rispetto al numero di istanze? (piccoli set di dati)

Mi chiedo se ci siano euristiche sul numero di caratteristiche rispetto al numero di osservazioni. Ovviamente, se un numero di funzioni è uguale al numero di osservazioni, il modello si adatta in modo eccessivo. Utilizzando metodi sparsi (LASSO, rete elastica) possiamo rimuovere diverse funzionalità per ridurre il modello. La mia …

17 feature-selection model-selection

1

Deep Neural Network - Backpropogation con ReLU

Sto incontrando qualche difficoltà nel ricavare la propagazione indietro con ReLU e ho fatto un po 'di lavoro, ma non sono sicuro di essere sulla strada giusta. Funzione di costo: dove è il valore reale e è un valore previsto. Supponi anche che > 0 sempre.y y x12(y−y^)212(y−y^)2\frac{1}{2}(y-\hat y)^2yyyy^y^\hat yxxx …

17 neural-network backpropagation

4

Qual è il vantaggio di dividere il file tfrecord in frammenti?

Sto lavorando al riconoscimento vocale con Tensorflow e sto pianificando di addestrare LSTM NN con un set di dati ad onde enormi. A causa degli aumenti delle prestazioni, ho intenzione di utilizzare tfrecords. Ci sono molti esempi su Internet (Inception per es.) In cui i file di tfrecords sono divisi …

17 python tensorflow

5

Unione di dati sparsi e densi nell'apprendimento automatico per migliorare le prestazioni

Ho caratteristiche sparse che sono predittive, inoltre ho alcune caratteristiche dense che sono anche predittive. Devo combinare queste funzionalità insieme per migliorare le prestazioni complessive del classificatore. Ora, il problema è che quando provo a combinarli insieme, le funzioni dense tendono a dominare di più rispetto alle funzioni sparse, offrendo …

17 machine-learning classification predictive-modeling scikit-learn supervised-learning

2

Dovremmo applicare la normalizzazione anche ai dati di test?

Sto facendo un progetto sul problema di identificazione dell'autore. Avevo applicato la normalizzazione tf-idf per addestrare i dati e poi ho formato un svm su quei dati. Ora, quando uso il classificatore, dovrei anche normalizzare i dati del test. Sento che l'obiettivo di base della normalizzazione è quello di far …

17 machine-learning neural-network deep-learning

3

Alla ricerca di un buon pacchetto per il rilevamento di anomalie nelle serie temporali

Esiste un pacchetto open source completo (preferibilmente in Python o R) che può essere utilizzato per il rilevamento di anomalie nelle serie temporali? Esiste un pacchetto SVM di una classe in scikit-learn ma non è per i dati di serie temporali. Sto cercando pacchetti più sofisticati che, ad esempio, utilizzano …

17 python time-series anomaly-detection

2

Esempio di callback di Keras per salvare un modello dopo ogni epoca?

Qualcuno può pubblicare un semplice esempio di Keras usando un callback per salvare un modello dopo ogni epoca? Posso trovare esempi di risparmio di pesi, ma voglio essere in grado di salvare un modello completamente funzionante dopo ogni epoca di allenamento.

17 python keras

8

Come contare il numero di valori mancanti in ogni riga nel frame di dati Pandas?

Come posso ottenere il numero di valore mancante in ogni riga nel frame di dati di Pandas. Vorrei dividere i frame di dati in frame di dati diversi che hanno lo stesso numero di valori mancanti in ogni riga. Qualche suggerimento?

17 python pandas

2

Quale funzione di perdita usare per le classi sbilanciate (usando PyTorch)?

Ho un set di dati con 3 classi con i seguenti elementi: Classe 1: 900 elementi Classe 2: 15000 elementi Classe 3: 800 elementi Devo prevedere la classe 1 e la classe 3, che segnalano importanti deviazioni dalla norma. La classe 2 è il caso "normale" predefinito che non mi …

17 neural-network pytorch

2

In quale parte del flusso di lavoro dovremmo gestire i dati mancanti?

Sto creando un flusso di lavoro per la creazione di modelli di machine learning (nel mio caso, usando Python pandase sklearnpacchetti) da dati estratti da un database molto grande (qui, Vertica tramite SQL e pyodbc), e un passaggio fondamentale in questo processo prevede l'imputazione mancante valori dei predittori. Questo è …

16 machine-learning python pandas scikit-learn

5

Cosa offre di più TensorFlow alle telecamere?

Sono consapevole che Keras funge da interfaccia di alto livello con TensorFlow. Ma mi sembra che le keras possano svolgere molte funzionalità da sole (input di dati, creazione di modelli, formazione, valutazione). Inoltre, alcune delle funzionalità di TensorFlow possono essere trasferite direttamente alle telecamere (ad es. È possibile utilizzare una …

16 keras tensorflow