In R come calcolare il valore p per l'area sotto ROC

Faccio fatica a trovare un modo per calcolare il valore p per l'area sotto una caratteristica dell'operatore del ricevitore (ROC). Ho una variabile continua e un risultato del test diagnostico. Voglio vedere se AUROC è statisticamente significativo.

Ho trovato molti pacchetti relativi alle curve ROC: pROC, ROCR, caTools, verifica, Epi. Ma anche dopo molte ore trascorse a leggere la documentazione e i test, non sono riuscito a trovare il modo. Penso di essermi perso.

Nella tua situazione sarebbe bene tracciare una curva ROC e calcolare l'area sotto quella curva, ma questo dovrebbe essere considerato come supplementare alla tua analisi principale, piuttosto che all'analisi primaria stessa. Invece, si desidera adattare un modello di regressione logistica .

Il modello di regressione logistica verrà fornito di serie con un test del modello nel suo insieme. (In realtà, poiché hai solo una variabile, quel valore p sarà lo stesso del valore p per la tua variabile del risultato del test.) Quel valore p è quello che stai cercando. Il modello ti consentirà di calcolare la probabilità prevista di un'osservazione malata. Una caratteristica operativa del ricevitore indica come la sensibilità e la specificità verranno scambiate, se si utilizzano soglie diverse per convertire la probabilità prevista in una classificazione prevista. Poiché la probabilità prevista sarà una funzione della variabile del risultato del test, ti verrà anche spiegato come si scambiano se usi valori di risultato del test diversi come soglia.

Se non si ha familiarità con la regressione logistica, ci sono alcune risorse disponibili su Internet (oltre alla pagina Wikipedia collegata sopra):

• Discuto alcune basi nella mia risposta qui: Interpretazione di semplici previsioni a rapporti di probabilità nella regressione logistica ; e (sebbene scritto in un contesto diverso) fornisco una panoramica di ciò che è la regressione logistica e come si collega alla regressione (regolare) OLS nella mia risposta qui: Differenza tra i modelli logit e probit .
• Puoi anche leggere alcuni dei thread classificati sotto il nostro tag logistico .
• Per come adattare un modello di regressione logistica R, il sito Web di aiuto delle statistiche UCLA è generalmente eccellente e ha una pagina pertinente qui .

Fondamentalmente si desidera testare H0 = "L'AUC è uguale a 0,5".

Questo è in effetti equivalente a dire H0 = "La distribuzione dei ranghi nei due gruppi è uguale".

Quest'ultima è l'ipotesi nulla del test di Mann-Whitney (Wilcoxon) (vedi ad esempio Gold, 1999 ).

In altre parole, puoi tranquillamente utilizzare un test Mann-Whitney-Wilcoxon per rispondere alla tua domanda (vedi ad esempio Mason & Graham, 2002 ). Questo è esattamente ciò che fa il pacchetto di verifica menzionato da Franck Dernoncourt.

Puoi usare roc.area () dalla verifica del pacchetto :

install.packages("verification")
library("verification")

# Data used from Mason and Graham (2002).
a<- c(1981, 1982, 1983, 1984, 1985, 1986, 1987, 1988, 1989, 1990,
 1991, 1992, 1993, 1994, 1995)
d<- c(.928,.576, .008, .944, .832, .816, .136, .584, .032, .016, .28, .024, 0, .984, .952)

A<- data.frame(a,d)
names(A)<- c("year", "p2")

# For model without ties
roc.area(A$event, A$p2)

Tornerà $p.value [1] 0.0069930071

Utilizzando pROC è possibile confrontare due curve ROC roc.test(). Questo produce anche un valore p. Inoltre, l'utilizzo roc(..., auc=TRUE, ci=TRUE)fornirà gli intervalli di confidenza più bassi e più alti insieme all'AUC nell'output durante la creazione dell'oggetto ROC, che può essere utile.

Di seguito è riportato un codice di esempio funzionante che verifica se le miglia per gallone o il peso di un'auto sono un migliore predittore del tipo di trasmissione di cui è dotata (automatica o manuale):

library(pROC)
roc_object_1 <- roc(mtcars$am, mtcars$mpg, auc=T, ci=T) #gives AUC and CI
roc_object_2 <- roc(mtcars$am, mtcars$wt, auc=T, ci=T) #gives AUC and CI

roc.test(roc_object_1, roc_object_2) #gives p-value

Sembra che il peso sia un fattore predittivo significativamente migliore rispetto al consumo di carburante. Tuttavia, si tratta di confrontare due curve e non una singola curva rispetto a un numero come 0,5. Osservare l'intervallo di confidenza per vedere se contiene il numero 0,5 ci dice se è significativamente diverso, ma non produce un valore p.