Incomprensione di un valore P?

Quindi ho letto molto su come interpretare correttamente un valore P e, da quello che ho letto, il valore p dice NIENTE sulla probabilità che l'ipotesi nulla sia vera o falsa. Tuttavia, quando si legge la seguente dichiarazione:

Il valore p rappresenta la probabilità di commettere un errore di tipo I o di rifiutare l'ipotesi nulla quando è vera. Più piccolo è il valore p, minore è la probabilità che si debba rifiutare erroneamente l'ipotesi nulla.

EDIT: E poi 5 minuti dopo ho letto:

Le interpretazioni errate dei valori di P sono molto comuni. L'errore più comune è interpretare un valore P come la probabilità di commettere un errore rifiutando una vera ipotesi nulla (un errore di tipo I).

Questo mi ha confuso. Quale è corretto? E qualcuno può spiegare come interpretare correttamente il valore p e come si collega correttamente alla probabilità di commettere un errore di tipo I?

A causa dei tuoi commenti, creerò due sezioni separate:

valori p

Nel test delle ipotesi statistiche è possibile trovare "prove statistiche" per l' ipotesi alternativa ; Come ho spiegato in Cosa segue se non riusciamo a respingere l'ipotesi nulla? , è simile alla "prova per contraddizione" in matematica.

Quindi, se vogliamo trovare "prove statistiche", assumiamo il contrario, che denotiamo di ciò che proviamo a provare, che chiamiamo H 1 . Dopodiché disegniamo un campione e dal campione calcoliamo una cosiddetta statistica test (ad esempio un valore t in un test t).$H_0$$H_1$

Quindi, supponendo che sia vero e che il nostro campione sia estratto casualmente dalla distribuzione sotto H 0 , possiamo calcolare la probabilità di osservare valori che superano o eguagliano il valore derivato dal nostro campione (casuale). Questa probabilità è chiamata valore p.$H_0$$H_0$

Se questo valore è "abbastanza piccolo", cioè inferiore alla fase del livello di significatività che abbiamo scelto, allora rifiutiamo e consideriamo che H 1 sia "statisticamente provato".$H_0$$H_1$

Diverse cose sono importanti in questo modo di fare:

• abbiamo derivato probabilità supponendo che sia vero$H_0$
• abbiamo prelevato un campione casuale dalla distrazione assunta sotto $H_0$
• abbiamo decidere di avere prove trovate per se il test-statistica derivato dal campione casuale ha una bassa probabilità di essere superati. Quindi non è impossibile che venga superato mentre H 0 è vero e in questi casi commettiamo un errore di tipo I. $H_1$$H_0$

Quindi cos'è un errore di tipo I: un errore di tipo I viene commesso quando il campione, estratto casualmente da , porta alla conclusione che H 0 è falso mentre in realtà è vero.$H_0$$H_0$

Si noti che questo implica che un p-valore non è la probabilità di un errore di tipo I . In effetti, un errore di tipo I è una decisione sbagliata da parte del test e la decisione può essere presa solo confrontando il valore p con il livello di significatività scelto, con un valore p da solo non si può prendere una decisione, è solo dopo il confronto il valore p al livello di significatività scelto che viene presa una decisione e fintanto che non viene presa una decisione, l'errore di tipo I non viene nemmeno definito.

Qual è quindi il valore p? Il rifiuto potenzialmente errato di è dovuto al fatto che disegniamo un campione casuale sotto H 0 , quindi potrebbe essere che abbiamo "sfortuna" disegnando il campione e che questa "sfortuna" porti a un falso rifiuto di H 0 . Quindi il valore p (anche se non è del tutto corretto) è più simile alla probabilità di disegnare un "campione errato". L'interpretazione corretta del valore p è che è la probabilità che la statistica test superi o eguagli il valore della statistica test derivato da un campione disegnato casualmente sotto H 0$H_0$$H_0$$H_0$$H_0$

False rate discovery (FDR)

Come spiegato sopra, ogni volta che l'ipotesi nulla viene respinta, si considera questa come "prova statistica" per . Quindi abbiamo trovato nuove conoscenze scientifiche, quindi si chiama scoperta . Anche spiegato sopra è che possiamo fare false scoperte (cioè rifiutare falsamente H 0 ) quando commettiamo un errore di tipo I. In quel caso abbiamo una falsa convinzione di una verità scientifica. Vogliamo solo scoprire cose veramente vere e quindi si cerca di ridurre al minimo le false scoperte, cioè si controllerà un errore di tipo I. Non è così difficile vedere che la probabilità di un errore di tipo I è il livello di significatività scelto α . Quindi, per controllare gli errori di tipo I, si corregge un $H_1$$H_0$$\alpha$$\alpha$-livello che riflette la tua volontà di accettare "prove false".

Intuitivamente, ciò significa che se disegniamo un numero enorme di campioni e con ogni campione eseguiamo il test, una frazione di questi test porterà a una conclusione errata. È importante notare che stiamo "calcolando la media su molti campioni" ; così stesso test, molti campioni. $\alpha$

Se utilizziamo lo stesso campione per eseguire molti test diversi, abbiamo un errore di test multiplo (vedi la mia risposta sul limite di errore a livello di famiglia: il riutilizzo di set di dati su diversi studi di domande indipendenti porta a più problemi di test? ). In quel caso si può controllare l' inflazione usando tecniche per controllare il tasso di errore familiare (FWER) , come ad esempio una correzione di Bonferroni.$\alpha$

Un approccio diverso rispetto a FWER è il controllo del tasso di rilevamento falso (FDR) . In quel caso si controlla il numero di scoperte false (FD) tra tutte le scoperte (D), quindi si controlla , D è il numero diH0rifiutato.$\frac{FD}{D}$$H_0$

Quindi la probabilità di errore di tipo I ha a che fare con l'esecuzione dello stesso test su molti campioni diversi. Per un numero enorme di campioni la probabilità di errore di tipo I converge al numero di campioni che porta a un falso rifiuto diviso per il numero totale di campioni prelevati .

La FDR ha a che fare con molti test sullo stesso campione e per un numero enorme di test converge al numero di test in cui viene commesso un errore di tipo I (cioè il numero di false scoperte) diviso per il numero totale di rifiuti di (ovvero il numero totale di scoperte)$H_0$ .

Si noti che, confrontando i due paragrafi precedenti:

1. Il contesto è diverso; un test e molti campioni rispetto a molti test e un campione.
2. Il denominatore per il calcolo della probabilità di errore di tipo I è chiaramente diverso dal denominatore per il calcolo dell'FDR. I numeratori sono simili in un certo senso, ma hanno un contesto diverso.

L'FDR ti dice che, se esegui molti test sullo stesso campione e trovi 1000 scoperte (cioè rifiuti di ), allora con un FDR di 0,38 avrai 0,38 × 1000 scoperte false.$H_0$$0.38 \times 1000$

La prima affermazione non è strettamente vera.

Da un elaborato articolo sull'incomprensione del significato: ( http://myweb.brooklyn.liu.edu/cortiz/PDF%20Files/Misinterpretations%20of%20Significance.pdf )

"[Questa affermazione] può sembrare simile alla definizione di un errore di tipo I (cioè la probabilità di respingere l'H0 sebbene sia effettivamente vero), ma avendo effettivamente rifiutato l'H0, questa decisione sarebbe sbagliata se e solo se l'H0 era vero, quindi la probabilità "che stai prendendo una decisione sbagliata" è p (H0) e questa probabilità ... non può essere derivata con test di significatività dell'ipotesi nulla. "

Più semplicemente, al fine di valutare la probabilità di aver rifiutato erroneamente H0, è necessaria la probabilità che H0 sia vero e che semplicemente non è possibile ottenere utilizzando questo test.

L'interpretazione corretta di un valore p è la probabilità condizionale di un risultato almeno altrettanto conduttiva per l'ipotesi alternativa come il valore osservato (almeno come "estremo"), supponendo che l'ipotesi nulla sia vera . Le interpretazioni errate generalmente comportano una probabilità marginale o una commutazione della condizione:

Il valore p ci consente di determinare se l'ipotesi nulla (o l'ipotesi dichiarata) può essere respinta o meno. Se il valore p è inferiore al livello di significatività, α, ciò rappresenta un risultato statisticamente significativo e l'ipotesi nulla deve essere respinta. Se il valore p è maggiore del livello di significatività, α, l'ipotesi nulla non può essere respinta. Questo è il motivo per cui si cerca il valore p se si utilizza la tabella o si utilizza un calcolatore online, come questo, calcolatore del valore p , per trovare il valore p dalla statistica del test.

Ora so che hai citato errori di tipo I e di tipo II. Questo non ha davvero nulla a che fare con il valore p. Ciò ha a che fare con i dati originali, come la dimensione del campione utilizzata e i valori ottenuti per i dati. Se la dimensione del campione è troppo piccola, ad esempio, ciò può causare un errore di tipo I.