Scienza dei dati

1

Dati squilibrati che causano una classificazione errata nel set di dati multiclasse

Sto lavorando alla classificazione del testo in cui ho 39 categorie / classi e 8,5 milioni di record. (In futuro aumenteranno i dati e le categorie). La struttura o il formato dei miei dati è il seguente. ---------------------------------------------------------------------------------------- | product_title | Key_value_pairs | taxonomy_id | ---------------------------------------------------------------------------------------- Samsung S7 Edge | …

9 machine-learning python classification scikit-learn multiclass-classification

1

Come posso implementare la funzione sigmoid in Octave? [chiuso]

Chiuso . Questa domanda richiede dettagli o chiarezza . Al momento non accetta risposte. Vuoi migliorare questa domanda? Aggiungi dettagli e chiarisci il problema modificando questo post . Chiuso 2 anni fa . così dato che la funzione sigmoide è definita come hθ (x) = g (θ ^ (T) x), …

9 regression logistic-regression octave

2

Quale algoritmo applicare per scegliere il punto giusto

L'immagine sotto mostra 7 punti intorno all'origine. Uno di questi è stato selezionato da un essere umano in base a regole ed esperienza ed è colorato in rosso (quello nel quadrante in basso a sinistra). Ora abbiamo oltre 1000 di questi insiemi di punti e per ogni insieme un umano …

9 machine-learning

1

HDF5 può essere scritto e letto in modo affidabile simultaneamente da processi python separati?

Sto scrivendo uno script per registrare i dati live nel tempo in un singolo file HDF5 che include il mio intero set di dati per questo progetto. Sto lavorando con Python 3.6 e ho deciso di creare uno strumento da riga di comando utilizzando clickper raccogliere i dati. La mia …

9 python dataset

2

"Deep Noether's Theorem": Costruire nei vincoli di simmetria

Se ho un problema di apprendimento che dovrebbe avere una simmetria intrinseca, c'è un modo per sottoporre il mio problema di apprendimento a un vincolo di simmetria per migliorare l'apprendimento? Ad esempio, se sto facendo il riconoscimento delle immagini, potrei desiderare la simmetria rotazionale 2D. Ciò significa che la versione …

9 machine-learning

1

Come posso affrontare un problema di classificazione in cui una delle classi è definita da "nessuna delle altre"

Supponiamo che io sia interessato a tre classi , , . Ma il mio set di dati contiene in realtà diverse altre classi reali .c1c1c_1c2c2c_2c3c3c_3(cj)nj=4(cj)j=4n(c_j)_{j=4}^n La risposta ovvia è definire una nuova classe che riferimento a tutte le classi , ma sospetto che questa non sia una buona idea poiché …

9 machine-learning classification

1

t-SNE: Perché valori uguali di dati non sono visivamente vicini?

Ho 200 punti dati che hanno gli stessi valori su tutte le funzionalità. Dopo la riduzione della dimensione t-SNE non sembrano più così uguali, proprio come questo: Perché non sono sullo stesso punto della visualizzazione e sembrano persino essere distribuiti in due diversi cluster?

9 visualization dimensionality-reduction tsne

4

Classificare serie temporali multivariate

Ho un set di dati composto da serie temporali (8 punti) con circa 40 dimensioni (quindi ogni serie temporale è 8 per 40). L'output corrispondente (i possibili risultati per le categorie) è 0 o 1. Quale sarebbe l'approccio migliore per progettare un classificatore per serie storiche con più dimensioni? La …

9 classification time-series pca

2

Ha senso addestrare una CNN come autoencoder?

Lavoro con l'analisi dei dati EEG, che alla fine dovranno essere classificati. Tuttavia, ottenere etichette per le registrazioni è alquanto costoso, il che mi ha portato a considerare approcci senza supervisione, per utilizzare meglio le nostre quantità piuttosto grandi di dati senza etichetta. Ciò porta naturalmente a considerare gli autocodificatori …

9 deep-learning convnet unsupervised-learning autoencoder

3

Perché non addestrare il modello finale su tutti i dati dopo aver eseguito i dati di test della base di sintonizzazione dell'iperparametro e i dati di convalida della base di selezione del modello?

Per dati interi intendo train + test + validation Una volta che ho risolto il mio iperparametro usando i dati di validazione e scelto il modello usando i dati di test, non sarebbe meglio avere un modello addestrato su tutti i dati in modo che i parametri siano meglio addestrati …

9 machine-learning

1

numero di parametri per i livelli di convoluzione

In questo articolo molto citato , gli autori danno la seguente discussione sul numero di parametri di peso. Non sono molto chiaro il motivo per cui ha parametri . Penso che dovrebbe essere poiché ciascuno dei canali di input condivide lo stesso filtro, che ha parametri. 49 C C 4949 …

9 machine-learning deep-learning computer-vision

1

In che modo una tela convoluzionale differisce da una normale rete convoluzionale?

Attualmente sto lavorando per ricreare i risultati di questo documento . Nel documento descrivono un metodo per usare la CNN per l'estrazione delle caratteristiche e hanno un modello acustico che è Dnn-hmm e prefabbricato usando RBM. La sottosezione A della sezione III indica diversi modi in cui i dati di …

9 neural-network convnet feature-extraction audio-recognition

3

Perché utilizzare NN convoluzionali per un'attività di ispezione visiva rispetto alla classica corrispondenza del modello CV?

Ho avuto un'interessante discussione sulla base di un progetto a cui stavamo lavorando: perché usare un sistema di ispezione visiva della CNN su un algoritmo di corrispondenza dei modelli? Sfondo: avevo mostrato una demo di un semplice sistema di visione della CNN (webcam + laptop) che rilevava se un particolare …

9 machine-learning convnet image-classification

4

Interpretazione dell'albero delle decisioni nel contesto dell'importanza delle funzioni

Sto cercando di capire come comprendere appieno il processo decisionale di un modello di classificazione dell'albero decisionale creato con sklearn. I 2 aspetti principali che sto guardando sono una rappresentazione grafica dell'albero e l'elenco delle importazioni delle funzionalità. Quello che non capisco è come viene determinata l'importanza della funzione nel …

9 machine-learning visualization scikit-learn data decision-trees

3

Come posso facilitare la lettura di matrici di grande confusione?

Di recente ho pubblicato un set di dati ( link ) con 369 classi. Ho fatto un paio di esperimenti su di loro per avere un'idea di quanto sia difficile il compito di classificazione. Di solito, mi piace se ci sono matrici di confusione per vedere il tipo di errore …

9 visualization confusion-matrix