Se l'ipotesi B è l'ipotesi interessante, puoi prendere la non-B come ipotesi nulla e controllare, sotto lo zero, la probabilità dell'errore di tipo I per rifiutare erroneamente la non-B a livello . Il rifiuto di non-B viene quindi interpretato come prova a favore di B perché controlliamo l'errore di tipo I, quindi è improbabile che non-B sia vero. Confuso ...? α
Prendi l'esempio del trattamento contro nessun trattamento in due gruppi di una popolazione. L'ipotesi interessante è che il trattamento ha un effetto, cioè c'è una differenza tra il gruppo trattato e il gruppo non trattato a causa del trattamento. L'ipotesi nulla è che non vi siano differenze e controlliamo la probabilità di respingere erroneamente questa ipotesi. Pertanto controlliamo la probabilità di concludere erroneamente che esiste un effetto terapeutico quando non vi è alcun effetto terapeutico. L'errore di tipo II è la probabilità di accettare erroneamente il valore nullo quando si verifica un effetto terapeutico.
La formulazione sopra è basata sul framework Neyman-Pearson per i test statistici, in cui i test statistici sono visti come un problema decisionale tra i casi, il null e l'alternativa. Il livello è la frazione di volte in cui commettiamo un errore di tipo I se ripetiamo (indipendentemente) il test. In questo quadro non esiste davvero alcuna distinzione formale tra il nullo e l'alternativa. Se scambiamo il nullo e l'alternativa, scambiamo la probabilità di errori di tipo I e di tipo II. Tuttavia, non abbiamo controllato la probabilità di errore di tipo II sopra (dipende da quanto è grande l'effetto del trattamento) e, a causa di questa asimmetria, potremmo preferire dire che non riusciamo a rifiutareαl'ipotesi nulla (invece che accettiamo l'ipotesi nulla). Quindi dovremmo stare attenti a concludere che l'ipotesi nulla è vera solo perché non possiamo rifiutarla.
In un quadro di test sulla significatività dei pescatori esiste davvero solo un'ipotesi nulla e si calcola, sotto il valore null, un valore per i dati osservati. Valori p più piccoli sono interpretati come prove più forti contro il nulla. Qui l'ipotesi nulla è sicuramente non-B (nessun effetto del trattamento) e il valore p viene interpretato come la quantità di prove contro il nulla. Con un piccolo valore p possiamo rifiutare con sicurezza il valore nullo, che non esiste alcun effetto terapeutico e concludere che esiste un effetto terapeutico. In questo quadro possiamo solo rifiutare o non rifiutare (mai accettare) il null, e si tratta solo di falsificare il null. Si noti che il pppppp-valore non deve essere giustificato da un numero (immaginario) ripetuto di decisioni.
Nessuno dei due framework è privo di problemi e la terminologia è spesso confusa. Posso consigliare il libro Prove statistiche: un paradigma di verosimiglianza di Richard M. Royall per un chiaro trattamento dei diversi concetti.