Calcola la curva ROC per i dati

Quindi, ho 16 prove in cui sto cercando di autenticare una persona da un tratto biometrico usando Hamming Distance. La mia soglia è impostata su 3,5. I miei dati sono di seguito e solo la versione di prova 1 è un vero positivo:

Trial   Hamming Distance
1   0.34
2   0.37
3   0.34
4   0.29
5   0.55
6   0.47
7   0.47
8   0.32
9   0.39
10  0.45
11  0.42
12  0.37
13  0.66
14  0.39
15  0.44
16  0.39

Il mio punto di confusione è che non sono davvero sicuro di come creare una curva ROC (FPR vs TPR O FAR vs. FRR) da questi dati. Non importa quale, ma sono davvero confuso su come calcolarlo. Qualsiasi aiuto sarebbe apprezzato.

mathematical-statistics roc classification cross-validation pac-learning r anova survival hazard machine-learning data-mining hypothesis-testing regression random-variable non-independent normal-distribution approximation central-limit-theorem interpolation splines distributions kernel-smoothing r data-visualization ggplot2 distributions binomial random-variable poisson-distribution simulation kalman-filter regression lasso regularization lme4-nlme model-selection aic r mcmc dlm particle-filter r panel-data multilevel-analysis model-selection entropy graphical-model r distributions quantiles qq-plot svm matlab regression lasso regularization entropy inference r distributions dataset algorithms matrix-decomposition regression modeling interaction regularization expected-value exponential gamma-distribution mcmc gibbs probability self-study normality-assumption naive-bayes bayes-optimal-classifier standard-deviation classification optimization control-chart engineering-statistics regression lasso regularization regression references lasso regularization elastic-net r distributions aggregation clustering algorithms regression correlation modeling distributions time-series standard-deviation goodness-of-fit hypothesis-testing statistical-significance sample binary-data estimation random-variable interpolation distributions probability chi-squared predictor outliers regression modeling interaction

— rohanbk
fonte

Qui stats.stackexchange.com/a/105577/49130 puoi trovare alcune informazioni aggiuntive su come disegnare una curva ROC

— Alexey Grigorev

Risposte:

Suggerisco grafici ROC: note e considerazioni pratiche per i ricercatori di Tom Fawcett, davvero una lettura eccellente. Per quanto ho capito la tua domanda, troverai tutto ciò di cui hai bisogno in questo documento.

Modifica: Ispirato da Adam Voglio anche raccomandare il mio pacchetto R preferito per questo compito: ROCR .

— Steffen
fonte

Conosci qualche buon pacchetto Matlab che può fare il lavoro?

— rohanbk,

@rohanbk Siamo spiacenti, no. È da tanto che non uso Matlab.

— Steffen,

Il link @steffen è interrotto.

— Alleo,

@Alleo grazie per la notifica, il link ora punta a citeseer (dove pdf è disponibile) ... questo dovrebbe durare più a lungo.

— Steffen,

Perché vuoi creare una curva ROC? Vuoi rappresentare graficamente la curva per le tue variabili dipendenti o stai cercando di usarla come statistica di prova per misurare l'accuratezza delle tue previsioni di probabilità (nel qual caso stai cercando l'AUC [area sotto la curva] ).

Se hai familiarità con R, il pacchetto di verifica in R ha due funzioni che troverai utili: roc.plot (), che ti permetterà di tracciare la tua curva ROC, e roc.area () che ti permetterà di calcolare l'AUC.

— Adamo
fonte

Conosci qualche buon pacchetto Matlab che può fare il lavoro?

— rohanbk,