Intervallo di confidenza per l'accuratezza della classificazione convalidata in modo incrociato

Sto lavorando a un problema di classificazione che calcola una metrica di somiglianza tra due immagini radiografiche di input. Se le immagini sono della stessa persona (etichetta di "destra"), verrà calcolata una metrica più alta; l'immissione di immagini di due persone diverse (etichetta "errata") comporterà una metrica inferiore.

Ho usato una validazione incrociata stratificata di 10 volte per calcolare la probabilità di errata classificazione. La mia dimensione del campione attuale è di circa 40 corrispondenze giuste e 80 corrispondenze errate, in cui ciascun punto dati è la metrica calcolata. Sto ottenendo una probabilità di classificazione errata di 0,00, ma su questo ho bisogno di una sorta di analisi dell'intervallo di confidenza / errore.

Stavo cercando di utilizzare un intervallo di confidenza proporzionale binomiale (dove avrei usato i risultati della convalida incrociata come etichettatura corretta o etichettatura errata per il mio numero di successi). Tuttavia, uno dei presupposti alla base dell'analisi binomiale è la stessa probabilità di successo per ogni prova, e non sono sicuro che il metodo alla base della classificazione di "giusto" o "sbagliato" nella validazione incrociata possa essere considerato la stessa probabilità di successo.

L'unica altra analisi a cui riesco a pensare è quella di ripetere i tempi X di convalida incrociata e calcolare la deviazione media / standard dell'errore di classificazione, ma non sono sicuro che ciò sia appropriato poiché riuserei i dati dal mio dimensioni del campione relativamente piccole più volte.

qualche idea? Sto usando MATLAB per tutte le mie analisi e ho la casella degli strumenti Statistiche. Gradirei qualsiasi assistenza!

Influenza dell'instabilità nelle previsioni di diversi modelli surrogati

Tuttavia, uno dei presupposti alla base dell'analisi binomiale è la stessa probabilità di successo per ogni prova, e non sono sicuro che il metodo alla base della classificazione di "giusto" o "sbagliato" nella validazione incrociata possa essere considerato la stessa probabilità di successo.

Bene, di solito quell'equivalenza è un presupposto necessario anche per permetterti di mettere in comune i risultati dei diversi modelli surrogati.

In pratica, l'intuizione che questa ipotesi possa essere violata è spesso vera. Ma puoi misurare se questo è il caso. È qui che trovo utile la convalida incrociata ripetuta: la stabilità delle previsioni per lo stesso caso con modelli surrogati diversi consente di giudicare se i modelli sono equivalenti (previsioni stabili) o meno.

Ecco uno schema di convalida incrociata ripetuta ripetutamente (ovvero ripetuta) :$k$

Le lezioni sono rosse e blu. I cerchi a destra simboleggiano le previsioni. In ogni iterazione, ogni campione è previsto esattamente una volta. Di solito, la media generale viene utilizzata come stima delle prestazioni, presupponendo implicitamente che le prestazioni dei modelli surrogati siano uguali. Se cerchi ciascun campione in base alle previsioni fatte da diversi modelli surrogati (ovvero attraverso le colonne), puoi vedere quanto sono stabili le previsioni per questo esempio.$i \cdot k$

È inoltre possibile calcolare le prestazioni per ciascuna iterazione (blocco di 3 righe nel disegno). Qualsiasi scostamento tra questi significa che l'assunto che i modelli surrogati sono equivalenti (tra loro e inoltre al "grande modello" costruito su tutti i casi) non è soddisfatto. Ma questo ti dice anche quanta instabilità hai. Per quanto riguarda la proporzione binomiale, penso che la prestazione reale sia la stessa (cioè indipendente dal fatto che siano sempre previsti gli stessi casi in modo errato o se lo stesso numero ma casi diversi siano erroneamente previsti). Non so se si possa ragionevolmente assumere una particolare distribuzione per le prestazioni dei modelli surrogati. Ma penso che sia comunque un vantaggio rispetto alla segnalazione attualmente comune di errori di classificazione se si riporta tale instabilità.$k$$k$

$\ll$
$n$$k$$i$

Il disegno è una versione più recente di fig. 5 in questo documento: Beleites, C. & Salzer, R .: Valutazione e miglioramento della stabilità dei modelli chemiometrici in situazioni di piccole dimensioni del campione, Anal Bioanal Chem, 390, 1261-1271 (2008). DOI: 10.1007 / s00216-007-1818-6
Nota che quando abbiamo scritto il documento non avevo ancora realizzato completamente le diverse fonti di varianza che ho spiegato qui - tienilo a mente. Pertanto ritengo che l' argomentazioneper un'efficace stima della dimensione del campione, dato che non è corretta, anche se la conclusione dell'applicazione secondo cui diversi tipi di tessuto all'interno di ciascun paziente contribuiscono sulla quantità di informazioni complessive di un nuovo paziente con un determinato tipo di tessuto è probabilmente ancora valida (ho un tipo totalmente diverso di prove che indicano anche in questo modo). Tuttavia, non sono ancora completamente sicuro di ciò (né di come farlo meglio e quindi essere in grado di verificare), e questo problema non è correlato alla tua domanda.

Quali prestazioni utilizzare per l'intervallo di confidenza binomiale?

Finora ho usato la prestazione media osservata. Si potrebbe anche usare la peggiore prestazione osservata: più vicina è la prestazione osservata a 0,5, maggiore è la varianza e quindi l'intervallo di confidenza. Pertanto, gli intervalli di confidenza della prestazione osservata più vicini a 0,5 offrono un "margine di sicurezza" conservativo.

Si noti che alcuni metodi per calcolare gli intervalli di confidenza binomiale funzionano anche se il numero osservato di successi non è un numero intero. Uso l '"integrazione della probabilità posteriore bayesiana" come descritto in
Ross, TD: intervalli di confidenza accurati per la proporzione binomiale e la stima del tasso di Poisson, Comput Biol Med, 33, 509-531 (2003). DOI: 10.1016 / S0010-4825 (03) 00019-2

(Non lo so per Matlab, ma in R puoi usare binom::binom.bayesentrambi i parametri di forma impostati su 1).

$n$

Vedi anche: Bengio, Y. e Grandvalet, Y .: No stimatore indiscusso della varianza della convalida incrociata di K-Fold, Journal of Machine Learning Research, 2004, 5, 1089-1105 .

(Pensare di più a queste cose è nella mia todo-list di ricerca ..., ma poiché vengo dalla scienza sperimentale mi piace integrare le conclusioni teoriche e di simulazione con i dati sperimentali - che è difficile qui perché avrei bisogno di un grande serie di casi indipendenti per test di riferimento)

Aggiornamento: è giustificato assumere una distribuzione biomiale?

$k$

$n$

$n$$p$$n$

Penso che la tua idea di ripetere più volte la validazione incrociata sia corretta.

Ripeti il ​​tuo CV diciamo 1000 volte, ogni volta dividendo i tuoi dati in 10 parti (per CV 10 volte) in un modo diverso ( non mescolare le etichette). Otterrai 1000 stime dell'accuratezza della classificazione. Naturalmente riutilizzerai gli stessi dati, quindi queste 1000 stime non saranno indipendenti. Ma questo è simile alla procedura bootstrap: puoi prendere la deviazione standard su queste accuratezze come errore standard della media del tuo stimatore di precisione generale. O un intervallo percentile del 95% come intervallo di confidenza al 95%.

In alternativa, è possibile combinare il ciclo di convalida incrociata e il ciclo di bootstrap e selezionare semplicemente il 10% casuale (forse stratificato casuale) dei dati come set di test e farlo 1000 volte. Lo stesso ragionamento di cui sopra si applica anche qui. Tuttavia, ciò comporterà una maggiore varianza rispetto alle ripetizioni, quindi penso che la procedura sopra descritta sia migliore.

Se il tuo tasso di classificazione errata è 0,00, il tuo classificatore commette zero errori e se ciò accade ad ogni iterazione di bootstrap, otterrai un intervallo di confidenza ampio zero. Ma questo significherebbe semplicemente che il tuo classificatore è praticamente perfetto, quindi buono per te.

L'errore di classificazione è sia discontinuo sia una regola di punteggio impropria. Ha una bassa precisione e l'ottimizzazione seleziona le caratteristiche sbagliate e dà loro i pesi sbagliati.