Confronto tra due risultati di accuratezza del classificatore per significatività statistica con t-test

Voglio confrontare l'accuratezza di due classificatori per significato statistico. Entrambi i classificatori vengono eseguiti sullo stesso set di dati. Questo mi porta a credere che dovrei usare un test t di un campione da quello che ho letto .

Per esempio:

Classifier 1: 51% accuracy
Classifier 2: 64% accuracy
Dataset size: 78,000

È questo il test giusto da usare? In tal caso, come posso calcolare se la differenza di precisione tra il classificatore è significativa?

O dovrei usare un altro test?

Probabilmente opterei per il test di McNemar se ti alleni i classificatori solo una volta. David Barber suggerisce anche un test bayesiano piuttosto accurato che mi sembra piuttosto elegante, ma non è ampiamente usato (è anche menzionato nel suo libro ).

Solo per aggiungere, come dice Peter Flom, la risposta è quasi certamente "sì" solo osservando la differenza di prestazioni e la dimensione del campione (prendo le cifre citate sono le prestazioni del set di test piuttosto che le prestazioni del set di allenamento).

Per inciso, Japkowicz e Shah hanno pubblicato un recente libro su "Valutare gli algoritmi di apprendimento: una prospettiva di classificazione" , non l'ho letto, ma sembra un riferimento utile per questo tipo di problemi.

Posso dirti, senza nemmeno eseguire nulla, che la differenza sarà statisticamente significativa. Passa lo IOTT (test del trauma interoculare - ti colpisce tra gli occhi).

Se vuoi fare un test, tuttavia, potresti farlo come test di due proporzioni - questo può essere fatto con un test t di due campioni.

Tuttavia, potresti voler rompere "accuratezza" nei suoi componenti; sensibilità e specificità, oppure falso positivo e falso negativo. In molte applicazioni, il costo dei diversi errori è piuttosto diverso.

Poiché l'accuratezza, in questo caso, è la proporzione di campioni correttamente classificati, possiamo applicare il test di ipotesi riguardante un sistema di due proporzioni.

Let p 1 e p 2 tramite le precisioni ottenute rispettivamente da classificatori 1 e 2, ed n è il numero di campioni. Il numero di campioni correttamente classificati nei classificatori 1 e 2 è rispettivamente x 1 e x 2 .$\hat p_1$$\hat p_2$$n$$x_1$$x_2$

$\hat p_1 = x_1/n,\quad \hat p_2 = x_2/n$

La statistica del test è data da

$\displaystyle Z = \frac{\hat p_1 - \hat p_2}{\sqrt{2\hat p(1 -\hat p)/n}}\qquad$ dove $\quad\hat p= (x_1+x_2)/2n$

La nostra intenzione è di dimostrare che l'accuratezza globale del classificatore 2, ovvero , è migliore di quella del classificatore 1, che è p 1 . Questo incornicia la nostra ipotesi come$p_2$$p_1$

• $H_0: p_1 = p_2\quad$ (ipotesi nulla secondo cui entrambi sono uguali)
• $H_a: p_1 < p_2\quad$ (ipotesi alternativa che afferma che quella più recente è migliore di quella esistente)

La regione di rifiuto è data da

$Z < -z_\alpha \quad$(se vero respinge e accetta H a )$H_0$$H_a$

$z_\alpha$$\alpha$$z_{0.5} = 1.645$$Z < -1.645$$1-\alpha$

Riferimenti:

1. R. Johnson e J. Freund, Probabilità e statistiche di Miller e Freund per ingegneri, ottava edizione. Prentice Hall International, 2011. (Fonte primaria)
2. Test di sintesi formula ipotesi concisa . (Adottato da [1])