Scienza dei dati

1

Importanza delle caratteristiche con caratteristiche categoriche ad alta cardinalità per la regressione (variabile numerica dipendente)

Stavo cercando di usare le importazioni delle funzionalità dalle foreste casuali per eseguire alcune selezioni empiriche di funzionalità per un problema di regressione in cui tutte le funzionalità sono categoriche e molte hanno molti livelli (dell'ordine di 100-1000). Dato che la codifica one-hot crea una variabile fittizia per ogni livello, …

12 scikit-learn feature-selection random-forest xgboost categorical-data

1

Motivo per le immagini quadrate nell'apprendimento profondo

La maggior parte dei modelli avanzati di deep learning come VGG, ResNet, ecc. Richiedono immagini quadrate come input, di solito con dimensioni pixel di 224 x 224224x224224x224 . C'è un motivo per cui l'input deve avere la stessa forma, oppure posso costruire un modello di convnet con dire anche 100 …

12 deep-learning image-classification image-recognition

4

Come sapere se il modello ha iniziato a funzionare in modo eccessivo?

Spero che i seguenti estratti forniranno una panoramica di quale sarà la mia domanda. Questi sono da http://neuralnetworksanddeeplearning.com/chap3.html L'apprendimento quindi rallenta gradualmente. Alla fine, intorno all'epoca 280, l'accuratezza della classificazione smette praticamente di migliorare. Le epoche successive vedono semplicemente piccole fluttuazioni stocastiche vicino al valore dell'accuratezza nell'epoca 280. Contrastate questo …

12 neural-network overfitting

3

Colonne categoriche di conversione di massa in panda (non codifica a caldo)

Ho un frame di dati Panda con tonnellate di colonne categoriche, che sto pianificando di utilizzare nell'albero decisionale con scikit-learn. Devo convertirli in valori numerici (non un vettore caldo). Posso farlo con LabelEncoder di scikit-learn. Il problema è che ce ne sono troppi e non voglio convertirli manualmente. Quale sarebbe …

12 scikit-learn pandas categorical-data labels

2

La perdita di convalida e l'accuratezza rimangono costanti

Sto cercando di implementare questo documento su una serie di immagini mediche. Lo sto facendo a Keras. La rete è essenzialmente composta da 4 livelli conv e max-pool seguiti da uno strato completamente connesso e da un classificatore soft max. Per quanto ne so, ho seguito l'architettura menzionata nel documento. …

12 machine-learning python deep-learning keras

2

Quante immagini per classe sono sufficienti per addestrare una CNN

Sto iniziando un progetto in cui il compito è identificare i tipi di sneaker dalle immagini. Attualmente sto leggendo le implementazioni di TensorFlow e Torch . La mia domanda è: quante immagini per classe sono necessarie per raggiungere una prestazione di classificazione ragionevole?

12 machine-learning neural-network image-classification convnet image-recognition

3

Tensorflow Regolazione della funzione di costo per dati sbilanciati

Ho un problema di classificazione con dati altamente squilibrati. Ho letto che il sovracampionamento, il sottocampionamento e la modifica dei costi per risultati categorici sottorappresentati porteranno a un adattamento migliore. Prima che ciò avvenisse, Tensorflow avrebbe classificato ogni input come gruppo di maggioranza (e avrebbe ottenuto una precisione superiore al …

12 tensorflow loss-function

2

Apprendimento profondo con spettrogrammi per il riconoscimento sonoro

Stavo esaminando la possibilità di classificare il suono (ad esempio i suoni degli animali) usando gli spettrogrammi. L'idea è quella di utilizzare una profonda rete neurale convoluzionale per riconoscere segmenti nello spettrogramma e produrre una (o molte) etichette di classe. Questa non è una nuova idea (vedi ad esempio la …

12 deep-learning multilabel-classification audio-recognition

3

Hai bisogno di aiuto per comprendere la proposta di punti di divisione approssimativi di xgboost

sfondo: in xgboost le tenta iterazione montare un albero f t su tutte le n esempi che minimizza la seguente obiettivo:tttftftf_tnnn ∑i=1n[gift(xi)+12hif2t(xi)]∑i=1n[gift(xi)+12hift2(xi)]\sum_{i=1}^n[g_if_t(x_i) + \frac{1}{2}h_if_t^2(x_i)] dove sono primo ordine e derivati secondo ordine oltre la nostra precedente stima migliore y (da iterazione t - 1 ):gi,higi,hig_i, h_iy^y^\hat{y}t−1t−1t-1 gi=dy^l(yi,y^)gi=dy^l(yi,y^)g_i=d_{\hat{y}}l(y_i, \hat{y}) hi=d2y^l(yi,y^)hi=dy^2l(yi,y^)h_i=d^2_{\hat{y}}l(y_i, \hat{y}) …

12 xgboost gbm

3

Come posso distinguere dinamicamente tra dati categorici e dati numerici?

Conosco qualcuno che sta lavorando a un progetto che prevede l'inserimento di file di dati indipendentemente dalle colonne o dai tipi di dati. L'attività consiste nel prendere un file con un numero qualsiasi di colonne e vari tipi di dati e generare statistiche riassuntive sui dati numerici. Tuttavia, non è …

12 categorical-data numerical

1

Selezione delle funzionalità utilizzando le importazioni delle funzionalità in foreste casuali con scikit-learn

Ho tracciato l'importanza delle funzionalità in foreste casuali con scikit-learn . Al fine di migliorare la previsione utilizzando foreste casuali, come posso utilizzare le informazioni sulla trama per rimuovere le funzionalità? Vale a dire come individuare se una funzione è inutile o, se non peggio, diminuisce le prestazioni delle foreste …

12 feature-selection random-forest scikit-learn

4

Download di un set di dati di grandi dimensioni sul Web direttamente in AWS S3

Qualcuno sa se è possibile importare un set di dati di grandi dimensioni in Amazon S3 da un URL? Fondamentalmente, voglio evitare di scaricare un file enorme e quindi ricaricarlo su S3 attraverso il portale web. Voglio solo fornire l'URL di download a S3 e aspettare che lo scarichino nel …

12 dataset aws

3

Aiuto per quanto riguarda NER in NLTK

Ho lavorato in NLTK per un po 'usando Python. Il problema che sto affrontando è che il loro non è di aiuto disponibile sulla formazione di NER in NLTK con i miei dati personalizzati. Hanno usato MaxEnt e l'hanno addestrato su ACE corpus. Ho cercato molto sul Web, ma non …

12 machine-learning python nlp

2

Modellazione di serie temporali con spaziatura irregolare

Ho una variabile continua, campionata per un periodo di un anno a intervalli irregolari. Alcuni giorni hanno più di un'osservazione all'ora, mentre altri periodi non hanno nulla per giorni. Ciò rende particolarmente difficile rilevare i modelli nelle serie temporali, perché alcuni mesi (ad esempio ottobre) sono altamente campionati, mentre altri …

12 neural-network time-series regression

3

Come animare la crescita di un social network?

Sto cercando una libreria / strumento per visualizzare come i social network cambiano quando vengono aggiunti nuovi nodi / bordi. Una delle soluzioni esistenti è SoNIA: Social Network Image Animator . Ti permette di fare film come questo . La documentazione di SoNIA dice che al momento è rotta, e …

12 social-network-analysis time-series javascript visualization