Statistiche e Big Data auc

3

Quali sono le differenze tra AUC e punteggio F1?

Il punteggio F1 è la media armonica di precisione e richiamo. L'asse y di richiamo è il vero tasso positivo (che è anche richiamo). Quindi, a volte i classificatori possono avere un basso richiamo ma una AUC molto alta, cosa significa? Quali sono le differenze tra AUC e punteggio F1?

14 machine-learning precision-recall auc accuracy

1

Perché utilizzare il punteggio Gini normalizzato invece dell'AUC come valutazione?

La competizione di Kaggle La previsione del pilota sicuro di Porto Seguro utilizza il punteggio Gini normalizzato come metrica di valutazione e questo mi ha incuriosito sulle ragioni di questa scelta. Quali sono i vantaggi dell'utilizzo del punteggio gini normalizzato anziché delle metriche più comuni, come l'AUC, per la valutazione?

14 classification auc model-evaluation gini

3

Significato statistico (valore p) per il confronto di due classificatori rispetto all'AUC (media) ROC, sensibilità e specificità

Ho un set di test di 100 casi e due classificatori. Ho generato previsioni e calcolato AUC ROC, sensibilità e specificità per entrambi i classificatori. Domanda 1: Come posso calcolare il valore p per verificare se uno è significativamente migliore dell'altro rispetto a tutti i punteggi (ROC AUC, sensibilità, specificità)? …

14 machine-learning statistical-significance roc auc sensitivity-specificity

3

Come derivare l'interpretazione probabilistica dell'AUC?

Perché l'area sotto la curva ROC ha la probabilità che un classificatore classifichi un'istanza "positiva" scelta casualmente (dalle previsioni recuperate) più alta di un'istanza "positiva" scelta casualmente (dalla classe positiva originale)? Come si può dimostrare matematicamente questa affermazione usando l'integrale, dando ai CDF e ai PDF le vere distribuzioni di …

14 probability roc auc

1

Una regressione logistica che massimizza la probabilità necessariamente anche massimizza l'AUC rispetto ai modelli lineari?

Dato un set di dati con risultati binari e una matrice predittiva , il modello di regressione logistica standard stima i coefficienti che massimizzano la probabilità binomiale. Quando X è al livello completo \ beta_ {MLE} è unico; quando la separazione perfetta non è presente, è finita.y∈{0,1}ny∈{0,1}ny\in\{0,1\}^nX∈Rn×pX∈Rn×pX\in\mathbb{R}^{n\times p}βMLEβMLE\beta_{MLE}XXXβMLEβMLE\beta_{MLE} Questo modello …

13 logistic maximum-likelihood auc

1

Comparatore di due modelli quando le curve ROC si incrociano

Una misura comune utilizzata per confrontare due o più modelli di classificazione è utilizzare l'area sotto la curva ROC (AUC) come modo per valutare indirettamente le loro prestazioni. In questo caso, un modello con una AUC più grande viene generalmente interpretato come performante di un modello con una AUC più …

13 machine-learning classification roc auc model-evaluation

1

Valuta foresta casuale: OOB vs CV

Quando valutiamo la qualità di una foresta casuale, ad esempio utilizzando AUC, è più appropriato calcolare queste quantità sui campioni out of bag o sul set di validazione incrociata? Ho sentito che il calcolo su campioni OOB fornisce una valutazione più pessimistica, ma non vedo perché.

13 cross-validation random-forest auc

1

Collegamenti tra (d-prime) e AUC (Area Under the ROC Curve); i presupposti di base

Nell'apprendimento automatico possiamo usare l' area sotto la curva ROC (spesso abbreviata AUC o AUROC) per riassumere quanto bene un sistema può discriminare tra due categorie. Nella teoria del rilevamento del segnale spesso il (indice di sensibilità) viene utilizzato per uno scopo simile. I due sono strettamente collegati e credo …

13 machine-learning roc auc signal-detection d-prime

2

Il coefficiente di dadi è uguale alla precisione?

Mi imbatto nel coefficiente Dice per la somiglianza del volume ( https://en.wikipedia.org/wiki/S%C3%B8rensen%E2%80%93Dice_coefficient ) e la precisione ( https://en.wikipedia.org/wiki/Accuracy_and_precision ). Mi sembra che queste due misure siano uguali. qualche idea?

13 descriptive-statistics roc accuracy precision-recall auc

3

Il mio modello è valido, basato sul valore della metrica diagnostica ( / AUC / accuratezza / RMSE ecc.)?

Ho adattato il mio modello e sto cercando di capire se va bene. Ho calcolato le metriche consigliate per valutarle ( / AUC / accuratezza / errore di previsione / ecc.) Ma non so come interpretarle. In breve, come faccio a sapere se il mio modello è buono in base …

12 goodness-of-fit r-squared accuracy auc diagnostic

2

ottimizzazione di auc vs logloss nei problemi di classificazione binaria

Sto eseguendo un'attività di classificazione binaria in cui la probabilità di risultato è abbastanza bassa (intorno al 3%). Sto cercando di decidere se ottimizzare tramite AUC o perdita di log. Per quanto ho capito, l'AUC massimizza la capacità del modello di discriminare tra le classi mentre il logloss penalizza la …

12 classification binary-data auc log-loss

2

Confronta i classificatori in base a AUROC o precisione?

Ho un problema di classificazione binaria e provo diversi classificatori su di esso: voglio confrontare i classificatori. quale è una misura migliore AUC o precisione? E perché? Raondom Forest: AUC: 0.828 Accuracy: 79.6667 % SVM: AUC: 0.542 Accuracy: 85.6667 %

11 machine-learning classification auc

1

R / mgcv: Perché i prodotti tensor te () e ti () producono superfici diverse?

Il mgcvpacchetto per Rha due funzioni per adattare le interazioni del prodotto tensore: te()e ti(). Comprendo la divisione di base del lavoro tra i due (adattamento di un'interazione non lineare rispetto alla scomposizione di questa interazione in effetti principali e un'interazione). Quello che non capisco è perché te(x1, x2)e ti(x1) …

11 r gam mgcv conditional-probability mixed-model references bayesian estimation conditional-probability machine-learning optimization gradient-descent r hypothesis-testing wilcoxon-mann-whitney time-series bayesian inference change-point time-series anova repeated-measures statistical-significance bayesian contingency-tables regression prediction quantiles classification auc k-means scikit-learn regression spatial circular-statistics t-test effect-size cohens-d r cross-validation feature-selection caret machine-learning modeling python optimization frequentist correlation sample-size normalization group-differences heteroscedasticity independence generalized-least-squares lme4-nlme references mcmc metropolis-hastings optimization r logistic feature-selection separation clustering k-means normal-distribution gaussian-mixture kullback-leibler java spark-mllib data-visualization categorical-data barplot hypothesis-testing statistical-significance chi-squared type-i-and-ii-errors pca scikit-learn conditional-expectation statistical-significance meta-analysis intuition r time-series multivariate-analysis garch machine-learning classification data-mining missing-data cart regression cross-validation matrix-decomposition categorical-data repeated-measures chi-squared assumptions contingency-tables prediction binary-data trend test-for-trend matrix-inverse anova categorical-data regression-coefficients standard-error r distributions exponential interarrival-time copula log-likelihood time-series forecasting prediction-interval mean standard-error meta-analysis meta-regression network-meta-analysis systematic-review normal-distribution multiple-regression generalized-linear-model poisson-distribution poisson-regression r sas cohens-kappa

3

Cos'è una buona AUC per una curva di richiamo di precisione?

Poiché ho un set di dati molto sbilanciato (esiti positivi del 9%), ho deciso che una curva di richiamo di precisione era più appropriata di una curva ROC. Ho ottenuto l'analoga misura sommaria dell'area sotto la curva PR (.49, se sei interessato) ma non sono sicuro di come interpretarla. Ho …

11 classification precision-recall auc

1

Perché Anova () e drop1 () hanno fornito risposte diverse per i GLMM?

Ho un GLMM del modulo: lmer(present? ~ factor1 + factor2 + continuous + factor1*continuous + (1 | factor3), family=binomial) Quando uso drop1(model, test="Chi"), ottengo risultati diversi rispetto a quelli che utilizzo Anova(model, type="III")dal pacchetto auto o summary(model). Questi ultimi due danno le stesse risposte. Usando un mucchio di dati fabbricati, …

10 r anova glmm r mixed-model bootstrap sample-size cross-validation roc auc sampling stratification random-allocation logistic stata interpretation proportion r regression multiple-regression linear-model lm r cross-validation cart rpart logistic generalized-linear-model econometrics experiment-design causality instrumental-variables random-allocation predictive-models data-mining estimation contingency-tables epidemiology standard-deviation mean ancova psychology statistical-significance cross-validation synthetic-data poisson-distribution negative-binomial bioinformatics sequence-analysis distributions binomial classification k-means distance unsupervised-learning euclidean correlation chi-squared spearman-rho forecasting excel exponential-smoothing binomial sample-size r change-point wilcoxon-signed-rank ranks clustering matlab covariance covariance-matrix normal-distribution simulation random-generation bivariate standardization confounding z-statistic forecasting arima minitab poisson-distribution negative-binomial poisson-regression overdispersion probability self-study markov-process estimation maximum-likelihood classification pca group-differences chi-squared survival missing-data contingency-tables anova proportion

Domande taggate «auc»