Quando ha senso l'approccio "go get more data" di Fisher?

Citando la grande risposta di Gung

Presumibilmente, un ricercatore una volta si è avvicinato a Fisher con risultati "non significativi", chiedendogli cosa avrebbe dovuto fare, e Fisher ha detto, "vai a prendere più dati".

Dal punto di vista di Neyman-Pearson, si tratta di una palese $p$ -hacking, ma c'è un caso d'uso in cui l'approccio di Google get-get-more-data ha senso?

Il paradigma frequentista è una fusione delle opinioni di Fisher e Neyman-Pearson. Solo usando un approccio e un'altra interpretazione sorgono problemi.

A chiunque dovrebbe sembrare strano che raccogliere più dati sia problematico, poiché più dati sono più prove. In effetti, il problema non sta nel raccogliere più dati, ma nell'usare il valore $p$ per decidere di farlo, quando è anche la misura di interesse. La raccolta di più dati basati sul $p$ -value è solo $p$ -hacking se si calcola un nuovo $p$ -value.

Se non hai prove sufficienti per trarre una conclusione soddisfacente sulla domanda di ricerca, allora ottieni più dati. Tuttavia, ammetti che ora hai superato la fase NHST della tua ricerca e concentrati invece sulla quantificazione dell'effetto di interesse.

Una nota interessante è che i bayesiani non soffrono di questo dilemma. Considerare quanto segue come esempio:

• Se un frequentatore non conclude alcuna differenza significativa e passa a un test di equivalenza, sicuramente il tasso di falsi positivi è aumentato;
• Un bayesiano può esprimere contemporaneamente l'intervallo di densità più elevato e la regione di equivalenza pratica di una differenza e dormire la stessa notte.

Data una dimensione del campione abbastanza grande, un test mostrerà sempre risultati significativi, a meno che la dimensione reale dell'effetto sia esattamente zero, come discusso qui . In pratica, la vera dimensione dell'effetto non è zero, quindi la raccolta di più dati alla fine sarà in grado di rilevare le differenze più minuscole.

La risposta facetious (IMO) di Fisher era in risposta a una domanda relativamente banale che nella sua premessa sta fondendo "differenza significativa" con "differenza praticamente rilevante".

Sarebbe equivalente a un ricercatore che viene nel mio ufficio e mi chiede "Ho pesato questo peso di piombo etichettato '25 grammi 'e misurava 25,0 grammi. Credo che sia etichettato erroneamente, cosa dovrei fare?" A cui ho potuto rispondere: "Ottieni una scala più precisa".

Credo che l'approccio go-get-more-data sia appropriato se il test iniziale è tristemente sottodimensionato per rilevare l'entità della differenza che è praticamente rilevante.

Grazie. Ci sono un paio di cose da tenere a mente qui:

1. La citazione può essere apocrifa.
2. È abbastanza ragionevole ottenere più / migliori dati o dati da una fonte diversa (scala più precisa, cfr. @ Risposta di Underminer ; situazione o controlli diversi; ecc.), Per un secondo studio (cfr. @ Commento di Glen_b ) . Cioè, non analizzeresti i dati aggiuntivi insieme ai dati originali: supponiamo che tu abbia N = 10 con un risultato non significativo, potresti raccogliere altri dati N = 20 e analizzarli da soli (non testando tutti i 30 insieme ). Se la citazione non fosse apocrifa, avrebbe potuto essere ciò che Fisher aveva in mente.
3. La filosofia scientifica di Fisher era essenzialmente popperiana . Cioè, il nulla non era necessariamente qualcosa da rifiutare in modo perfetto per confermare la tua teoria, ma idealmente potrebbe essere la tua stessa teoria, tale che il rifiuto significa che la tua teoria da compagnia è sbagliata e devi tornare al tavolo da disegno. In tal caso, l'inflazione dell'errore di tipo I non gioverebbe al ricercatore. (D'altra parte, questa interpretazione taglia contro Fisher dando questo consiglio a meno che non fosse un litigio, che non sarebbe stato fuori dal personaggio.)
4. In ogni caso, vale la pena sottolineare che il motivo per cui ho incluso quel commento è che illustra qualcosa di fondamentale sulla differenza nella natura dei due approcci.

Ciò che chiamiamo P-hacking è applicare più volte un test di significatività e riportare solo i risultati di significatività. Se questo è buono o cattivo dipende dalla situazione.

Per spiegare, pensiamo ai veri effetti in termini bayesiani, piuttosto che a ipotesi nulle e alternative. Finché crediamo che i nostri effetti di interesse provengano da una distribuzione continua, allora sappiamo che l'ipotesi nulla è falsa. Tuttavia, nel caso di un test su due lati, non sappiamo se sia positivo o negativo. Sotto questa luce, possiamo pensare ai valori di p per i test su due lati come una misura di quanto forte sia l'evidenza che la nostra stima ha la direzione corretta (cioè, effetto positivo o negativo).

$p < \alpha$ ), la probabilità di ottenere la direzione corretta dovrebbe essere maggiore della probabilità di ottenere la direzione errata (a meno che non si abbia qualche test davvero pazzo, davvero pessimo), sebbene la dimensione dell'effetto si avvicina a zero, la probabilità condizionata di ottenere la direzione corretta dato che l'evidenza sufficiente si avvicina a 0,5.

Ora, considera cosa succede quando torni indietro per ottenere più dati. Ogni volta che ottieni più dati, aumenta solo la tua probabilità di ottenere la direzione corretta in base a dati sufficienti. Quindi, in questo scenario, dovremmo renderci conto che ottenendo più dati, sebbene in realtà stiamo aumentando la probabilità di un errore di tipo I, stiamo anche riducendo la probabilità di concludere erroneamente la direzione sbagliata.

Prendi questo in contrasto con l'abuso più tipico di P-hacking; testiamo centinaia di dimensioni di effetti che hanno buone probabilità di essere molto piccole e riportiamo solo quelle significative. Nota che in questo caso, se tutti gli effetti sono piccoli, abbiamo una probabilità quasi del 50% di sbagliare la direzione quando dichiariamo il significato.

Ovviamente, i valori p prodotti da questo raddoppio dei dati dovrebbero ancora venire con un granello di sale. Mentre, in generale, non dovresti avere problemi con le persone che raccolgono più dati per essere più sicuri sulla dimensione dell'effetto, questo potrebbe essere abusato in altri modi. Ad esempio, un PI intelligente potrebbe rendersi conto che invece di raccogliere tutti i 100 punti dati contemporaneamente, potrebbero risparmiare un sacco di soldi e aumentare la potenza raccogliendo prima 50 punti dati, analizzandoli e quindi raccogliendo i successivi 50 se non è significativo . In questo scenario, aumentano la probabilità che la direzione dell'effetto sia erroneamente subordinata alla dichiarazione di significatività, poiché hanno maggiori probabilità di sbagliare la direzione dell'effetto con 50 punti dati che con 100 punti dati.

E infine, considera le implicazioni di non ottenere più dati quando abbiamo un risultato insignificante. Ciò implicherebbe mai la raccolta di ulteriori informazioni sull'argomento, che non spingerà davvero la scienza in avanti, vero? Uno studio sottodimensionato ucciderebbe un intero campo.

Se l'alternativa avesse una piccola probabilità a priori , un esperimento che non respingesse il nulla lo ridurrebbe ulteriormente, rendendo ogni ulteriore ricerca ancora meno conveniente. Ad esempio, supponiamo che la probabilità a priori sia 0,01. Quindi la tua entropia è di 0,08 bit. Se la probabilità si riduce a .001, la tua entropia è ora .01. Pertanto, continuare a raccogliere dati spesso non è conveniente. Uno dei motivi per cui sarebbe conveniente sarebbe che la conoscenza è così importante che vale la pena ridurre anche i rimanenti .01 bit di entropia.

Un altro motivo sarebbe se la probabilità a priori fosse davvero alta. Se la tua probabilità a priori era superiore al 50%, non riuscire a rifiutare il nulla aumenta la tua entropia, rendendo più conveniente continuare a raccogliere dati. Un esempio potrebbe essere quando sei quasi sicuro che ci sia un effetto, ma non sai in quale direzione.

Ad esempio, se sei un agente di controspionaggio e sei sicuro che un dipartimento ha una talpa e l'hai ridotto a due sospetti e stai facendo alcune analisi statistiche per decidere quale, allora un risultato statisticamente insignificante giustificherebbe la raccolta più dati.