Perché il test delle ipotesi del frequentista diventa distorto verso il rifiuto dell'ipotesi nulla con campioni sufficientemente grandi?

Stavo leggendo questo articolo sul fattore Bayes per un problema completamente estraneo quando mi sono imbattuto in questo passaggio

Il test di ipotesi con i fattori di Bayes è più solido del test di ipotesi del frequentista, poiché la forma bayesiana evita la distorsione del modello, valuta l'evidenza a favore dell'ipotesi nulla, include l'incertezza del modello e consente di confrontare i modelli non nidificati (anche se ovviamente il modello deve hanno la stessa variabile dipendente). Inoltre, i test di significatività del frequentista diventano distorti a favore del rifiuto dell'ipotesi nulla con dimensioni del campione sufficientemente grandi. [enfasi aggiunta]

Ho visto questa affermazione in precedenza nel documento di Karl Friston del 2012 su NeuroImage , dove lo chiama l' errore dell'inferenza classica .

Ho avuto un po 'di problemi a trovare un resoconto veramente pedagogico del perché questo dovrebbe essere vero. In particolare, mi chiedo:

1. perché questo accade
2. come proteggersi
3. in caso contrario, come rilevarlo

Risposta alla domanda 1: ciò si verifica perché il valore diventa arbitrariamente piccolo all'aumentare della dimensione del campione nei test del frequentista per la differenza (ovvero test con un'ipotesi nulla di nessuna differenza / qualche forma di uguaglianza) quando una differenza reale esattamente uguale a zero , al contrario di arbitrariamente vicino allo zero, non è realistico (vedi il commento di Nick Stauner all'OP). Il valore diventa arbitrariamente piccolo perché l'errore delle statistiche del test del frequentista generalmente diminuisce con la dimensione del campione, con il risultato che tutte le differenze sono significative a un livello arbitrario con una dimensione del campione abbastanza grande . Cosma Shalizi ha scritto erudamente su questo .$p$$p$

Risposta alla domanda 2: All'interno di un quadro di verifica delle ipotesi del frequentista, si può evitare ciò non facendo deduzione solo sul rilevamento della differenza . Ad esempio, si possono combinare inferenze sulla differenza e l' equivalenza in modo da non favorire (o confondere!) L'onere della prova sull'evidenza dell'effetto rispetto all'evidenza dell'assenza dell'effetto . La prova dell'assenza di un effetto viene, ad esempio:

1. due test unilaterali per l'equivalenza (TOST),
2. test uniformemente più potenti per l'equivalenza , e
3. la fiducia approccio intervallo di equivalenza (cioè se il % CI della statistica test è all'interno della priori gamma -defined di equivalenza / rilevanza, allora si conclude equivalenza a livello di significatività).$1-2\alpha$$\alpha$

Ciò che tutti questi approcci condividono è una decisione a priori su quale dimensione dell'effetto costituisca una differenza rilevante e un'ipotesi nulla inquadrata in termini di una differenza almeno grande quanto quella considerata rilevante.

Inferenza combinata dai test di differenza e dai test di equivalenza protegge quindi dalla distorsione che descrivi quando le dimensioni del campione sono grandi in questo modo (tabella due per due che mostra le quattro possibilità risultanti dai test combinati di differenza: ipotesi nulla positivista, H —e equivalenza — ipotesi nulla di negativista, H ):- $_{0}^{+}$$_{0}^{-}$

Si noti il quadrante in alto a sinistra: un test sopraffatto è quella in cui si si rifiuta l'ipotesi nulla di nessuna differenza, ma si rifiuta anche l'ipotesi nulla di differenza rilevante, quindi sì c'è una differenza, ma si ha a priori ha deciso che non si preoccupano perché è troppo piccolo.

Risposta alla domanda 3: vedere la risposta a 2.

I test per frequentisti con campioni di grandi dimensioni NON mostrano distorsioni verso il rifiuto dell'ipotesi nulla se l'ipotesi nulla è vera. Se le ipotesi del test sono valide e l'ipotesi nulla è vera, allora non vi è più rischio di un campione di grandi dimensioni che porta al rifiuto dell'ipotesi nulla rispetto a un campione piccolo. Se il null non è vero, allora saremmo sicuramente lieti di rifiutarlo, quindi il fatto che un campione di grandi dimensioni respingerà più frequentemente un falso null di un campione piccolo non è "bias" ma comportamento appropriato.

La paura di "esperimenti sopraffatti" si basa sul presupposto che non sia una buona cosa rifiutare l'ipotesi nulla quando è quasi vera. Ma se è solo quasi vero, in realtà è falso! Rifiuta via, ma non dimenticare di notare (e segnalare chiaramente) la dimensione dell'effetto osservato. Può essere banalmente piccolo e quindi non degno di seria considerazione, ma una decisione su tale questione deve essere presa dopo aver considerato le informazioni al di fuori del test di ipotesi.