Ho un set di test di 100 casi e due classificatori.

Ho generato previsioni e calcolato AUC ROC, sensibilità e specificità per entrambi i classificatori.

Domanda 1: Come posso calcolare il valore p per verificare se uno è significativamente migliore dell'altro rispetto a tutti i punteggi (ROC AUC, sensibilità, specificità)?

---

Ora, per lo stesso set di test di 100 casi, ho assegnazioni di funzioni diverse e indipendenti per ciascun caso. Questo perché le mie funzionalità sono fisse ma soggettive e fornite da più (5) soggetti.

Quindi, ho valutato nuovamente i miei due classificatori per 5 "versioni" del mio set di test e ottenuto 5 AUC ROC, 5 sensibilità e 5 specificità per entrambi i classificatori. Quindi, ho calcolato la media di ciascuna misura di performance per 5 soggetti (AUC medio ROC, sensibilità media e specificità media) per entrambi i classificatori.

Domanda 2: Come posso calcolare il p-value per verificare se uno è significativamente migliore dell'altro rispetto ai punteggi medi (AUC medio, sensibilità media, specificità media)?

---

Le risposte con qualche esempio di pitone (preferibilmente) o codice MatLab sono più che benvenute.

Wojtek J. Krzanowski e David J. Hand ROC Curves for Continuous Data (2009) è un ottimo riferimento per tutto ciò che riguarda le curve ROC. Raccoglie una serie di risultati in quella che è una base letteraria frustrantemente ampia, che spesso utilizza una terminologia diversa per discutere dello stesso argomento.

Inoltre, questo libro offre commenti e confronti di metodi alternativi che sono stati derivati ​​per stimare le stesse quantità, e sottolinea che alcuni metodi fanno ipotesi che potrebbero essere insostenibili in contesti particolari. Questo è uno di questi contesti; altre risposte riportano il metodo Hanley & McNeil, che assume il modello binormale per la distribuzione dei punteggi, che può essere inappropriato nei casi in cui la distribuzione dei punteggi delle classi non è (quasi) normale. L'assunzione di punteggi normalmente distribuiti sembra particolarmente inappropriata nei moderni contesti di apprendimento automatico , modelli comuni tipici come xgboost tendono a produrre punteggi con una distribuzione "vasca" per compiti di classificazione (vale a dire distribuzioni con densità elevate agli estremi vicino a 0 e 1 ).

Domanda 1 - AUC

La sezione 6.3 discute i confronti di AUC ROC per due curve ROC (pagg. 113-114). In particolare, la mia comprensione è che questi due modelli sono correlati, quindi le informazioni su come calcolare sono di fondamentale importanza qui; in caso contrario, la statistica del test sarà distorta perché non tiene conto del contributo della correlazione.$r$

Nel caso di curve ROC non correlate non basate su ipotesi distributive parametriche, le statistiche per tet e intervalli di confidenza che confrontano AUC possono essere basate direttamente su stime e dei valori AUC e stime delle loro deviazioni standard e , come indicato nella sezione 3.5.1:$\widehat{\text{AUC}}_1$$\widehat{\text{AUC}}_2$$S_1$$S_2$

$$Z = \frac{\widehat{\text{AUC}}_1 - \widehat{\text{AUC}}_2}{\sqrt{S_1^2 + S_2^2}}$$

Per estendere tali test al caso in cui vengono utilizzati gli stessi dati per entrambi i classificatori, dobbiamo tenere conto della correlazione tra le stime dell'AUC:

$$z=\frac{\widehat{\text{AUC}}_1 - \widehat{\text{AUC}}_2}{\sqrt{S_1^2 + S_2^2 - rS_1S_2}}$$

dove è la stima di questa correlazione. Hanley e McNeil (1983) hanno fatto una tale estensione, basando la loro analisi sul caso binormale, ma hanno fornito solo una tabella che mostra come calcolare il coefficiente di correlazione stimato r dalla correlazione r P dei due classificatori all'interno della classe P e la correlazione di r n dei due classificatori all'interno della classe N, dicendo che la derivazione matematica era disponibile su richiesta. Vari altri autori (ad es. Zou, 2001) hanno sviluppato test basati sul modello binormale, supponendo che sia possibile trovare una trasformazione appropriata che trasformi simultaneamente le distribuzioni dei punteggi delle classi P e N in normali.$r$$r$$r_P$$r_n$

DeLong et al (1988) hanno sfruttato l'identità tra AUC e la statistica dei test di Mann-Whitney, insieme ai risultati della teoria delle -statistics generalizzate dovute a Sen (1960), per ricavare una stima della correlazione tra le AUCs che non si basa sul presupposto binormale. In effetti, DeLong et al (1988) hanno presentato i seguenti risultati per confronti tra k ≥ 2 classificatori.$U$$k\ge 2$

Nella Sezione 3.5.1, abbiamo mostrato che l'area sotto la curva empirica ROC era uguale alla statistica Mann-Whitney , ed era data da$U$

dovesPi,i=1,…,nPsono i punteggi per glioggetti diclassePesNj,j=1,…,nNsono i punteggi per glioggetti diclasseNnell'esempio. Supponiamo di averekclassificatori, dando punteggis r N j

$$\widehat{AUC}=\frac{1}{n_N n_P} \sum_{i=1}^{n_N} \sum_{j=1}^{n_P} \left[ I(s_{P_j} > s_{N_i}) + \frac{1}{2}I(s_{P_j} = s_{N_i}) \right]$$ $s_{P_i}, i = 1, \dots,n_P$$P$$s_{N_j}, j = 1, \dots,n_N$$N$$k$ e s r P i , j = 1 , … , n P [Ho corretto un errore di indicizzazione in questa parte - Sycorax] e ^ A U C r , r = 1 , … , k . Definire$s^r_{N_j}, j=1\dots n_N$$s_{P_i}^r, j = 1, \dots,n_P$$\widehat{AUC}_r, r = 1, \dots, k$

$$V^r_{10}=\frac{1}{n_N}\sum_{j=1}^{n_N} \left[ I(s_{P_i}^r > s_{N_j}^r) + \frac{1}{2}I(s_{P_i}^r = s_{N_j}^r) \right] , i=1,\dots,n_P$$ $$V^r_{01} = \frac{1}{n_P}\sum_{i=1}^{n_P} \left[ I(s_{P_i}^r > s_{N_j}^r) + \frac{1}{2}I(s_{P_i}^r = s_{N_j}^r) \right] , j=1,\dots,n_N$$

$k \times k$$\mathbf{W}_{10}$$(r,s)$

$$w_{10}^{r,s} = \frac{1}{n_P - 1}\sum_{i=1}^{n_P} \left[ V_{10}^r(s_{P_i}) - \widehat{AUC}_r \right] \left[ V_{10}^s(s_{P_i}) - \widehat{AUC}_s \right]$$ $k \times k$$\mathbf{W}_{01}$$(r,s)$ $$w_{01}^{r,s} = \frac{1}{n_N - 1}\sum_{i=1}^{n_N} \left[ V_{01}^r(s_{N_i}) - \widehat{AUC}_r \right] \left[ V_{01}^s(s_{N_i}) - \widehat{AUC}_s \right]$$ $(\widehat{AUC}_1, \dots, \widehat{AUC}_k)$ $$\mathbf{W} = \frac{1}{n_P}\mathbf{W}_{10} + \frac{1}{n_N}\mathbf{W}_{01}$$ $w^{r,s}$$r$$\frac{w^{1,2}}{\sqrt{w^{1,1}w^{2,2}}}$$z$

Poiché un'altra risposta fornisce le espressioni Hanley e McNeil per gli stimatori della varianza dell'AUC, qui riprodurrò lo stimatore DeLong da p. 68:

$s$$s$$s$$1 - F(s)$$s$$1 - G(s)$$s_{N_i}$$s^P_{N_i}$$s_{N_i}$$\text{var}(s_{P_i}^N)$

$\widehat{AUC}$

$$s^2(\widehat{AUC}) = \frac{1}{n_P} \text{var}\left(s_{P_i}^N\right) + \frac{1}{n_N}\text{var}\left(s_{N_i}^P\right)$$

$F$$G$$F$$G$

$Z$$z$

Questo è uno schema semplificato e di alto livello di come funziona il test delle ipotesi:

• Testare, in parole tue, "se un classificatore è significativamente migliore dell'altro" può essere riformulato testando l'ipotesi nulla che i due modelli abbiano AUC statisticamente uguali contro l'ipotesi alternativa che le statistiche siano disuguali.

• Questo è un test a due code.

• Respingiamo l'ipotesi nulla se la statistica del test si trova nella regione critica della distribuzione di riferimento, che in questo caso è una distribuzione normale standard.

• $\alpha$$z > 1.96$$z < -1.96$$\alpha/2$$1 - \alpha/2$

Domanda 1 - Sensibilità e specificità

$t$

$$\begin{align} \text{sensitivity} = tp &= \mathbb{P}(s_P > t) \\ 1 - \text{specificity} = fp &= \mathbb{P}(s_N > t) \end{align}$$

Il principale punto critico è lo sviluppo del test appropriato dato che le due proporzioni del campione saranno correlate (poiché hai applicato due modelli agli stessi dati del test). Questo è affrontato a pag. 111.

$tp$$fp$$t$$(tp_1 - tp_2) / s_{12}$$tp_i$$i$$s_{12}^2$$tp_1$$tp_2$

$tp_1$$tp_2$

$N$

$tp_1 = tp_2$$tp_1 \neq tp_2$

$$\begin{array}{c|c|c|} & \text{Model 1 Positive at } t & \text{Model 1 Negative at } t \\ \hline \text{Model 2 Positive at } t & a & b \\ \hline \text{Model 2 Negative at } t & c & d \\ \hline \end{array}$$

$$\begin{align} a &= \sum_{i=1}^{n_P} I(s_{P_i}^1 > t) \cdot I(s_{P_i}^2 > t) \\ b &= \sum_{i=1}^{n_P} I(s_{P_i}^1 \le t) \cdot I(s_{P_i}^2 > t) \\ c &= \sum_{i=1}^{n_P} I(s_{P_i}^1 > t) \cdot I(s_{P_i}^2 \le t) \\ d &= \sum_{i=1}^{n_P} I(s_{P_i}^1 \le t) \cdot I(s_{P_i}^2 \le t) \\ \end{align}$$

$$M = \frac{(b-c)^2}{b + c}$$ $\chi^2_1$$\alpha=95\%$$M > 3.841459$

$s^r_{P_i}$$s^r_{N_j}$

Domanda 2

Sembra che sia sufficiente unire i risultati facendo la media dei valori di previsione per ciascun intervistato, in modo che per ogni modello si abbia 1 vettore di 100 valori previsti medi. Quindi calcola le statistiche RUC AUC, sensibilità e specificità come al solito, come se i modelli originali non esistessero. Ciò riflette una strategia di modellizzazione che tratta ciascuno dei 5 modelli di intervistati come uno di un "comitato" di modelli, un po 'come un insieme.

Lasciami breve la risposta, perché questa guida spiega molto di più e meglio .

$nTP$$nTN$

$\texttt{SE}_A = \sqrt{\frac{A(1-A) + (nTP-1)(Q_1 - A^2)+(nTN-1)(Q_2 - A^2)}{nTP \cdot nTN}}$

$Q_1 = A / (2 - A)$$Q_2 = 2A^2 / (1 + A)$

Per confrontare due AUC è necessario calcolare entrambi i SE usando:

$\texttt{SE}_{A_1 - A_2} = \sqrt{(SE_{A_1})^2 + (SE_{A_2})^2 - 2r\cdot (SE_{A_1})(SE_{A_2})}$

$r$$r=0$

$z$

$z = (A_1 - A_2) / SE_{A_1-A_2}$

Da lì puoi calcolare il valore p usando la densità di probabilità di una distribuzione normale standard. O semplicemente usa questa calcolatrice.

Si spera che risponda alla domanda 1 . - almeno la parte che confronta gli AUC. Sens / Spec è già coperto in qualche modo da ROC / AUC. Altrimenti, la risposta che penso risiede nella domanda 2.

Per quanto riguarda la domanda 2 , il Teorema del limite centrale ci dice che la tua statistica riassuntiva avrebbe seguito una distribuzione normale. Quindi, penso che basterebbe un semplice test t (5 misure di un classificatore contro 5 misure del secondo classificatore in cui le misure potrebbero essere AUC, sens, spec)

$\texttt{SE}$$\ldots - 2r \ldots$

Per la domanda 1, @Sycorax ha fornito una risposta completa.

Per quanto riguarda la domanda 2, per quanto ne so, la media delle previsioni delle materie non è corretta. Ho deciso di utilizzare il bootstrap per calcolare i valori p e confrontare i modelli.

In questo caso, la procedura è la seguente:

For N iterations:
  sample 5 subjects with replacement
  sample 100 test cases with replacement
  compute mean performance of sampled subjects on sampled cases for model M1
  compute mean performance of sampled subjects on sampled cases for model M2
  take the difference of mean performance between M1 and M2
p-value equals to the proportion of differences smaller or equal than 0

Questa procedura esegue test con una coda e presuppone che prestazioni medie M1> prestazioni medie M2.

Un'implementazione Python del bootstrap per il calcolo di valori p che confronta più lettori è disponibile in questo repository GitHub: https://github.com/mateuszbuda/ml-stat-util