Come si generano le curve ROC per la validazione incrociata senza interruzioni?

Quando si esegue una validazione incrociata di 5 volte (ad esempio), è tipico calcolare una curva ROC separata per ciascuna delle 5 pieghe e spesso per una curva ROC media con std. dev. mostrato come spessore della curva.

Tuttavia, per la validazione incrociata LOO, dove esiste un solo punto dati di test in ogni piega, non sembra sensato calcolare una "curva" ROC per questo singolo punto dati.

Ho preso tutti i miei punti di dati di test (insieme ai loro valori p calcolati separatamente) e li ho riuniti in un unico set grande per calcolare una singola curva ROC, ma è statisticamente la cosa più kosher da fare?

Qual è il modo giusto di applicare l'analisi ROC quando il numero di punti dati in ogni piega è uno (come nel caso della validazione incrociata LOO)?

cross-validation roc

— user1121
fonte

Perché? Cosa vuoi realizzare con una tale creatura?

Devo analizzare le prestazioni di previsione complessive attraverso una gamma di soglie di valore p e le curve ROC sono ciò che ho usato tradizionalmente per ogni altro tipo di convalida incrociata. Quindi sostanzialmente gli stessi motivi per cui l'analisi ROC è utile per qualsiasi validazione incrociata di k-fold. Se esiste un approccio diverso e analogo per LOO xval, sarebbe fantastico conoscerlo. Inoltre, farei invece qualcosa di simile a 10 volte xval se avessi dati sufficienti e questo non sarebbe un problema.

— user1121

Direi che lo stai facendo in modo sensato, semplicemente crea una singola curva ROC usando la vera etichetta e il valore previsto per ogni caso (dove quel caso era la

— resistenza

$\sigma$ $\mu$ $r$ $n = (r-\mu)/\sigma$ e quindi è possibile creare una curva ROC dall'insieme di uscite normalizzate. Questo ha la premessa che si stanno valutando più parametri, e quindi i risultati potrebbero differire leggermente rispetto a se si fosse costruita una curva ROC basata su un set di test separato.

Se non è possibile normalizzare le uscite del classificatore o trasformarle in probabilità, un'analisi ROC basata su LOO-CV non è appropriata.

— benhamner
fonte