Cosa ti dicono le curve ROC che l'inferenza tradizionale non farebbe?

Quando tenderesti ad usare le curve ROC su alcuni altri test per determinare la capacità predittiva di alcune misurazioni su un risultato?

Quando si ha a che fare con esiti discreti (vivo / morto, presente / assente), cosa rende le curve ROC più o meno potenti di qualcosa come un chi-quadrato?

La funzione ROC (non è necessariamente una curva) consente di valutare la capacità di discriminazione fornita da un modello statistico specifico (composto da una variabile predittore o da un insieme di esse).

Una considerazione principale dei ROC è che le previsioni del modello non derivano solo dalla capacità del modello di discriminare / fare previsioni basate sulle prove fornite dalle variabili predittive. Anche il funzionamento è un criterio di risposta che definisce quante prove sono necessarie affinché il modello preveda una risposta e quale sia il risultato di queste risposte. Il valore stabilito per i criteri di risposta influenzerà notevolmente le previsioni del modello e, in definitiva, il tipo di errori che farà.

Considera un modello generico con variabili predittive e criteri di risposta. Questo modello sta cercando di prevedere la Presenza di X, rispondendo Sì o No. Quindi hai la seguente matrice di confusione:

                                **X present               X absent**
 **Model Predicts X Present**       Hit                   False Alarm

 **Model Predicts X Absent**      Miss                 Correct Rejection

In questa matrice, devi solo considerare la proporzione di Hit e falsi allarmi (perché gli altri possono essere derivati ​​da questi, dato che devono essere da 1 a 1). Per ogni criterio di risposta, avrai una matrice di confusione diversa. Gli errori (Misses e False Alarms) sono correlati negativamente, il che significa che un criterio di risposta che minimizza i falsi allarmi massimizza i miss e viceversa. Il messaggio è: non c'è pranzo gratis.

Pertanto, al fine di comprendere in che misura il modello discrimina i casi / effettua previsioni, indipendentemente dai criteri di risposta stabiliti, si tracciano le percentuali di Hit e False prodotte attraverso la gamma di possibili criteri di risposta.

Quello che ottieni da questa trama è la funzione ROC. L'area sotto la funzione fornisce una misura imparziale e non parametrica dell'abilità di discriminazione del modello. Questa misura è molto importante perché è priva di qualsiasi confusione che avrebbe potuto essere prodotta dai criteri di risposta.

Un secondo aspetto importante è che analizzando la funzione, è possibile definire quali criteri di risposta sono migliori per i tuoi obiettivi. Quali tipi di errori vuoi evitare e quali sono gli errori sono OK. Ad esempio, considera un test per l'HIV: è un test che cerca una sorta di evidenza (in questo caso anticorpi) e fa una discriminazione / previsione basata sul confronto tra l'evidenza e il criterio di risposta. Questo criterio di risposta è generalmente impostato su un valore molto basso, in modo da ridurre al minimo i Misses. Naturalmente ciò comporterà un numero maggiore di falsi allarmi, che hanno un costo, ma un costo trascurabile rispetto ai mancati.

Con i ROC è possibile valutare la capacità di discriminazione di alcuni modelli, indipendentemente dai criteri di risposta, e anche stabilire i criteri di risposta ottimali, dati i bisogni e i vincoli di tutto ciò che si sta misurando. Test come hi-square non possono essere affatto d'aiuto in questo perché anche se si esegue il test se le previsioni sono a livello di probabilità, molte diverse coppie di allarmi Hit-False sono coerenti con il livello di probabilità.

Alcuni framework, come la teoria del rilevamento del segnale, presuppongono a priori che l'evidenza disponibile per la discriminazione abbia una distribuzione specifica (ad esempio, distribuzione normale o distribuzione gamma). Quando queste ipotesi valgono (o sono piuttosto vicine), sono disponibili alcune misure davvero piacevoli che ti semplificano la vita.

spero che questo ti aiuti a chiarire i vantaggi dei ROC

Una curva ROC viene utilizzata quando il predittore è continuo e il risultato è discreto, quindi un test chi-quadro non sarebbe applicabile. In effetti, l'analisi ROC è in qualche modo equivalente al test di Mann-Whitney: l'area sotto la curva è P (X> Y), che è la quantità testata dal test MW. Tuttavia l'analisi di Mann-Whitney non enfatizza la selezione di un valore soglia, mentre quello è il punto principale dell'analisi ROC. Inoltre, le curve ROC sono spesso utilizzate come semplice visualizzazione visiva dell'abilità predittiva di una covariata.

La risposta più breve è che i test tradizionali di rilevamento del segnale forniscono un solo punto sul ROC (caratteristica operativa del ricevitore) mentre la curva consente di vedere le risposte attraverso un intervallo di valori. È possibile che i criteri si spostino mentre uno si sposta lungo la curva. È come la differenza tra un test t generato selezionando due classi di variabili predittive e due linee di regressione generate osservando manipolazioni parametriche di ciascuna variabile predittore.

Nel caso in cui siate interessati ad ulteriori riferimenti, un ampio elenco di articoli è disponibile sul sito Web di KH Zou, Receiver Operating Characteristic (ROC) Literature Research .

Le curve ROC vengono utilizzate anche quando si è interessati a confrontare le diverse prestazioni dei classificatori, con ampie applicazioni nella ricerca biomedica e nella bioinformatica.

In molti modi i ROC sono una deviazione dagli strumenti di inferenza e stima primari per i modelli. Non riesco a vedere molto valore lì.