Statistiche e Big Data classification

2

Precisione = 1- tasso di errore del test

Mi scuso se questa è una domanda molto ovvia, ma ho letto vari post e non riesco a trovare una buona conferma. Nel caso della classificazione, l' accuratezza di un classificatore è = 1- tasso di errore del test ? Ottengo che la precisione è , ma la mia domanda …

14 classification terminology accuracy

2

Matematica dietro alberi di classificazione e regressione

Qualcuno può aiutare a spiegare alcune delle matematiche alla base della classificazione in CART? Sto cercando di capire come accadono due fasi principali. Ad esempio, ho addestrato un classificatore CART su un set di dati e ho usato un set di dati di prova per contrassegnare le prestazioni predittive ma: …

14 regression classification data-mining cart

4

Verifica se il miglioramento della precisione è significativo

Supponiamo che io abbia un algoritmo che classifica le cose in due categorie. Posso misurare l'accuratezza dell'algoritmo dicendo 1000 test - supponiamo che l'80% degli oggetti sia classificato correttamente. Supponiamo che modifichi l'algoritmo in qualche modo in modo che l'81% delle cose sia classificato correttamente. Le statistiche possono dirmi se …

14 statistical-significance classification

4

Come interpretare una curva ROC?

Ho applicato la regressione logistica ai miei dati su SAS e qui ci sono la curva ROC e la tabella di classificazione. Sono a mio agio con le cifre nella tabella di classificazione, ma non sono esattamente sicuro di ciò che mostrano la curva roc e l'area sotto di essa. …

14 regression logistic classification roc

3

Quali dovrebbero essere i parametri ottimali per il classificatore Random Forest?

Attualmente sto usando la toolbox RF su MATLAB per un problema di classificazione binaria Set di dati: 50000 campioni e oltre 250 funzioni Quindi quale dovrebbe essere il numero di alberi e la funzione selezionata casualmente su ogni divisione per far crescere gli alberi? qualsiasi altro parametro può influenzare notevolmente …

14 machine-learning classification random-forest

2

Come funziona Naive Bayes con variabili continue?

Per la mia (molto basilare) comprensione, Naive Bayes stima le probabilità in base alle frequenze di classe di ciascuna caratteristica nei dati di addestramento. Ma come calcola la frequenza delle variabili continue? E quando si effettua la previsione, come classifica una nuova osservazione che potrebbe non avere gli stessi valori …

14 machine-learning classification bayesian naive-bayes

4

È possibile utilizzare l'errore quadratico medio per la classificazione?

Conosco la formula dell'errore al quadrato medio e come calcolarla. Quando parliamo di una regressione, possiamo calcolare l'errore quadratico medio. Tuttavia, possiamo parlare di un MSE per un problema di classificazione e come calcolarlo?

14 classification error

1

Comparatore di due modelli quando le curve ROC si incrociano

Una misura comune utilizzata per confrontare due o più modelli di classificazione è utilizzare l'area sotto la curva ROC (AUC) come modo per valutare indirettamente le loro prestazioni. In questo caso, un modello con una AUC più grande viene generalmente interpretato come performante di un modello con una AUC più …

13 machine-learning classification roc auc model-evaluation

4

Bisogna preoccuparsi della multi-collinearità quando si usano modelli non lineari?

Supponiamo che abbiamo un problema di classificazione binaria con caratteristiche per lo più categoriche. Usiamo alcuni modelli non lineari (ad esempio XGBoost o Random Forests) per impararlo. Bisogna ancora preoccuparsi della multi-collinearità? Perché? Se la risposta a quanto sopra è vera, come si dovrebbe combatterla considerando che si stanno usando …

13 classification random-forest multicollinearity xgboost

3

Come possono essere utilizzati modelli di apprendimento automatico (GBM, NN ecc.) Per l'analisi della sopravvivenza?

So che i modelli statistici tradizionali come la regressione dei rischi proporzionali di Cox e alcuni modelli di Kaplan-Meier possono essere utilizzati per prevedere giorni prima che si verifichi il verificarsi di un evento, ad esempio un fallimento, ecc. Analisi di sopravvivenza Domande Come può essere utilizzata la versione di …

13 machine-learning classification survival cox-model kaplan-meier

1

Come addestrare il livello LSTM della rete profonda

Sto usando una rete lstm e feed-forward per classificare il testo. Converto il testo in vettori one-hot e inserisco ciascuno in lstm in modo da poterlo riassumere in un'unica rappresentazione. Quindi lo invio all'altra rete. Ma come posso addestrare lstm? Voglio solo classificare in sequenza il testo: dovrei dargli da …

13 classification neural-networks deep-learning lstm

2

Usando il pacchetto caret è possibile ottenere matrici di confusione per valori soglia specifici?

Ho ottenuto un modello di regressione logistica (via train) per una risposta binaria e ho ottenuto la matrice di confusione logistica tramite confusionMatrixin caret. Mi dà la matrice di confusione del modello logistico, anche se non sono sicuro di quale soglia venga utilizzata per ottenerlo. Come posso ottenere la matrice …

13 r classification roc caret confusion-matrix

2

Come può funzionare una percezione multiclasse?

Non ho alcun background in matematica, ma capisco come funziona il semplice Perceptron e penso di afferrare il concetto di un iperpiano (lo immagino geometricamente come un piano nello spazio 3D che separa due nuvole di punti, proprio come una linea separa due nuvole di punti nello spazio 2D). Ma …

13 machine-learning classification linear-model multi-class

3

PCA su dati di testo ad alta dimensione prima della classificazione casuale delle foreste?

Ha senso fare PCA prima di effettuare una classificazione casuale delle foreste? Ho a che fare con dati di testo ad alta dimensione e voglio fare una riduzione delle caratteristiche per evitare la maledizione della dimensionalità, ma le foreste casuali non hanno già una sorta di riduzione della dimensione?

13 classification pca random-forest dimensionality-reduction high-dimensional

1

Riproduzione della tabella 18.1 da "Elementi di apprendimento statistico"

Tabella 18.1 nella Elementi di apprendimento statistico riassume le prestazioni di numerosi classificatori su un set di dati di 14 classi. Sto confrontando un nuovo algoritmo con il lazo e la rete elastica per tali problemi di classificazione multiclasse. Utilizzando la glmnetversione 1.5.3 (R 2.13.0) non sono in grado di …

13 classification lasso glmnet

Domande taggate «classification»