Test per proporzioni e classificatore binario

Ho una macchina prototipo che produce parti.

In un primo test la macchina produce parti e un classificatore binario mi dice che parti sono difettose ( , in genere e ) e le parti sono buone.$N_1$d 1 < N 1 d 1 / N 1 < 0,01 N 1 ≈ 10 4 N 1 - d $d_1$$d_1 < N_1$$d_1/N_1<0.01$$N_1\approx10^4$$N_1-d_1$

Quindi un tecnico apporta alcune modifiche alla macchina per ridurre il numero di parti difettose.

In un secondo e successivo test la macchina modificata produce parti e lo stesso classificatore binario (intatto) mi dice che parti sono difettose, comunque è abbastanza simile a .d 2 d 2 / N 2 d 1 / N $N_2$$d_2$$d_2/N_2$$d_1/N_1$

Il tecnico vorrebbe sapere se le sue modifiche sono efficaci.

Supponendo che i classificatori siano perfetti (la sua sensibilità è del 100% e la sua specificità è del 100%), posso eseguire un test per le proporzioni (con R, scrivo solo prop.test(c(d1,d2),c(N1,N2))).

Ma il classificatore non è perfetto, quindi come posso prendere in considerazione la sensibilità e la specificità, entrambe sconosciute, del classificatore per rispondere correttamente al tecnico?

Quindi sto derivando questo dai primi principi, e quindi non sono sicuro che sia corretto. Ecco i miei pensieri:

EDIT: Questo non era proprio prima. L'ho aggiornato.

1. Lasciamo che indichi la differenza prevista tra il numero effettivo di veri positivi e il numero dal classificatore binario che chiameremo . Puoi misurarlo eseguendo il tuo classificatore su un set con etichette conosciute. Sottrai il numero di positivi effettivi dal numero di positivi prodotti dal classificatore, quindi dividi per per ottenere .d 1 ^ d 1 N $\alpha$$d_1$$\hat{d_1}$$N$$\alpha$

2. Pertanto, una stima puntuale per il rapporto effettivo delle parti difettose è data da: . Cioè, il numero osservato di parti difettose, meno il numero previsto di falsi positivi, oltre al numero previsto di falsi negativi.$\hat{\frac{d_1}{N_1}} = \frac{d_1 + \alpha * N_1}{N_1}$

3. Allo stesso modo,$\hat{\frac{d_2}{N_2}} = \frac{d_2 + \alpha * N_2}{N_2}$

4. Quindi, ora facciamo un test prop. Nel test prop standard, calcoliamo innanzitutto il rapporto in pool utilizzato come valore null: . Quindi qui, inseriamo le nostre stime puntuali di e per ottenere: ^ d $p= \frac{p_1*N_1 + p_2*N_2}{N_1 + N_2}$ ^d$\hat{\frac{d_1}{N_1}}$ p=d1+d2+α∗(N1+N2$\hat{\frac{d_2}{N_2}}$$p= \frac{d_1 + d_2 + \alpha * (N_1 + N_2)}{N_1 + N_2}$

5. E poi l'errore standard è solo il solito:$\sqrt{p*(1-p)*(\frac{1}{N_1} + \frac{1}{N_2})}$

6. E la statistica del test è la stessa:$z = \frac{\frac{d_1}{N_1} - \frac{d_2}{N_2}}{se}$

Alcuni pensieri sull'interpretazione:

• Il modello può produrre valori immaginari per errore standard. Questo accadrà quando , che sarà il caso in cui il numero di errori che prevediamo che i classificatori producano superi il numero che abbiamo osservato. Ad esempio, supponiamo che ci aspettiamo che il nostro classificatore produca una media di 5 positivi anche quando viene dato un campione che non contiene positivi. Se osserviamo 4 positivi, allora è come se non ci fosse alcun segnale: il nostro risultato è indistinguibile dal rumore prodotto dal classificatore. In questo caso, non dovremmo rifiutare l'ipotesi nulla, credo.$p < 0$

• Un altro modo di pensare a questo è che, se il numero di parti difettose rientra nel margine di errore per il classificatore, ovviamente non possiamo dire se c'è una differenza: non possiamo nemmeno dire se alcune parti sono difettose!

Incorporare errori nella stima di :$\alpha$

• Ci ho pensato un po 'di più e penso che ci siano molti modi per farlo, ma essenzialmente vuoi ottenere una stima della distribuzione di . Idealmente, dovresti fare questo acquisto ripetendo la procedura per ottenere la stima di su un campione rappresentativo dei set di dati su cui intendi utilizzare questo metodo. Se ciò non è possibile, è possibile eseguire il bootstrap su un singolo set di dati estraendo campioni da esso, anche se questo non è l'ideale a meno che il singolo set di dati non sia rappresentativo di tutti i set a cui tieni.$\alpha$$\alpha$

Supponiamo di voler calcolare un intervallo di confidenza con una confidenza di .$h$

• Calcola empiricamente l' intervallo di confidenza su usando la distribuzione bootstpped. Collega ogni end point al processo sopra, usandolo come una stima del punto (molto conservativa o molto liberale) per e trova l' intervallo di confidenza per la stima della differenza nelle proporzioni usando il test prop . Supponiamo di ottenere intervalli ( e come intervalli per i valori inferiore e superiore di . Quindi l'intervallo (che contiene entrambi gli intervalli precedenti) dovrebbe essere un (1-h) * 100% CI per la differenza nelle proporzioni ... Penso ... αα$\frac{h}{2}$$\alpha$$\alpha$ lowl,lowr)(highl,highr)α(highl,lowr$\frac{h}{2}$$low_l, low_r)$$(high_l, high_r)$$\alpha$$(high_l,low_r)$

Nota: in precedenza ho assunto un test su un lato. Dividi h per 2 per tenere conto del fatto che stai testando due ipotesi indipendenti ( è nell'intervallo che pensi e la statistica del test è una differenza significativa). Se vuoi fare un test a due code, dividi invece per 4.$\alpha$