Scienza dei dati

4

Guida rapida alla formazione di set di dati altamente squilibrati

Ho un problema di classificazione con circa 1000 campioni positivi e 10000 negativi nel set di allenamento. Quindi questo set di dati è abbastanza sbilanciato. La semplice foresta casuale sta solo cercando di contrassegnare tutti i campioni di test come una classe di maggioranza. Ecco alcune buone risposte sul sottocampionamento …

29 machine-learning classification dataset unbalanced-classes

4

Come funzionano i livelli di convoluzione successivi?

Questa domanda si riduce a "come funzionano esattamente i livelli di convoluzione . Supponiamo che io abbia un'immagine in scala di grigi . Quindi l'immagine ha un canale. Nel primo strato, applico una convoluzione 3 × 3 con k 1 filtri e riempimento. Poi ho un altro livello di convoluzione …

29 neural-network convnet

6

Esistono strumenti per l'ingegneria delle funzionalità?

In particolare quello che sto cercando sono strumenti con alcune funzionalità, che è specifico per l'ingegneria delle funzionalità. Vorrei poter facilmente smussare, visualizzare, colmare lacune, ecc. Qualcosa di simile a MS Excel, ma che ha R come lingua sottostante anziché VB.

29 feature-selection feature-extraction feature-construction

6

Come fare SVD e PCA con i big data?

Ho un ampio set di dati (circa 8 GB). Vorrei usare l'apprendimento automatico per analizzarlo. Quindi, penso che dovrei usare SVD quindi PCA per ridurre la dimensionalità dei dati per efficienza. Tuttavia, MATLAB e Octave non possono caricare un set di dati così grande. Quali strumenti posso usare per fare …

29 bigdata data-mining dimensionality-reduction

3

Scelta tra CPU e GPU per l'addestramento di una rete neurale

Ho visto discussioni sul "sovraccarico" di una GPU e che per le "piccole" reti, potrebbe effettivamente essere più veloce allenarsi su una CPU (o rete di CPU) rispetto a una GPU. Cosa si intende per "piccolo"? Ad esempio, un MLP a strato singolo con 100 unità nascoste sarebbe "piccolo"? La …

29 neural-network deep-learning gpu

3

Formato gerarchico dei dati. Quali sono i vantaggi rispetto ai formati alternativi?

Quali sono i principali vantaggi della memorizzazione dei dati in HDF? E quali sono i principali compiti di scienza dei dati in cui HDF è davvero adatto e utile?

28 data-formats hierarchical-data-format

4

Rete neurale analizzare i dati della stringa?

Quindi, sto appena iniziando a imparare come una rete neurale può operare per riconoscere schemi e classificare input, e ho visto come una rete neurale artificiale può analizzare i dati delle immagini e classificare le immagini ( demo con convnetjs ), e la chiave lì consiste nel sottocampionare l'immagine e …

28 neural-network

4

Quando utilizzare Random Forest su SVM e viceversa?

Quando si dovrebbe usare Random Forestoltre SVMe viceversa? Lo capisco cross-validatione il confronto tra modelli è un aspetto importante nella scelta di un modello, ma qui vorrei saperne di più sulle regole empiriche e sull'euristica dei due metodi. Qualcuno può spiegare le sottigliezze, i punti di forza e di debolezza …

28 machine-learning classification random-forest svm

4

Quali algoritmi dovrei usare per eseguire la classificazione dei lavori in base ai dati di ripresa?

Nota che sto facendo tutto in R. Il problema si presenta come segue: Fondamentalmente, ho un elenco di curriculum (CV). Alcuni candidati avranno prima esperienza lavorativa e altri no. L'obiettivo qui è: sulla base del testo dei loro CV, voglio classificarli in diversi settori lavorativi. Sono particolare in quei casi, …

28 machine-learning classification nlp text-mining

4

Un modello dovrebbe essere riqualificato se sono disponibili nuove osservazioni?

Quindi, non sono stato in grado di trovare alcuna letteratura su questo argomento, ma sembra qualcosa che valga la pena di pensare: Quali sono le migliori pratiche nella formazione e ottimizzazione dei modelli se sono disponibili nuove osservazioni? Esiste un modo per determinare il periodo / la frequenza della riqualificazione …

28 machine-learning predictive-modeling optimization training

3

Comprensione di predict_proba da MultiOutputClassifier

Sto seguendo questo esempio sul sito Web di scikit-learn per eseguire una classificazione multioutput con un modello Random Forest. from sklearn.datasets import make_classification from sklearn.multioutput import MultiOutputClassifier from sklearn.ensemble import RandomForestClassifier from sklearn.utils import shuffle import numpy as np X, y1 = make_classification(n_samples=5, n_features=5, n_informative=2, n_classes=2, random_state=1) y2 = shuffle(y1, …

28 scikit-learn random-forest multilabel-classification

6

Qual è la differenza tra iperparametri del modello e parametri del modello?

Ho notato che termini come iperparametro del modello e parametro del modello sono stati usati in modo intercambiabile sul web senza un chiarimento preventivo. Penso che questo sia errato e necessita di spiegazioni. Prendi in considerazione un modello di apprendimento automatico, un classificatore o riconoscitore di immagini basato su SVM …

28 machine-learning parameter hyperparameter language-model

3

Parametri XGBoost per l'ipertensione

XGBoost ha fatto un ottimo lavoro, quando si tratta di gestire variabili dipendenti sia categoriche che continue. Ma come posso selezionare i parametri ottimizzati per un problema XGBoost? Ecco come ho applicato i parametri per un recente problema di Kaggle: param <- list( objective = "reg:linear", booster = "gbtree", eta …

27 r python xgboost

4

Applicazioni e differenze per la somiglianza di Jaccard e la somiglianza del coseno

La somiglianza di Jaccard e la somiglianza del coseno sono due misurazioni molto comuni mentre si confrontano le somiglianze degli oggetti. Tuttavia, non sono molto chiaro in quale situazione quale dovrebbe essere preferibile rispetto a un altro. Qualcuno può aiutare a chiarire le differenze di queste due misurazioni (la differenza …

27 similarity

1

RNN con più funzionalità

Ho un po 'di conoscenza autodidatta lavorando con algoritmi di Machine Learning (roba di base di tipo Random Forest e Linear Regression). Ho deciso di diramare e iniziare a imparare RNN con Keras. Quando osservo la maggior parte degli esempi, che di solito implicano previsioni di stock, non sono stato …

27 machine-learning neural-network keras