Confine di errore a livello familiare: il riutilizzo di set di dati su diversi studi di domande indipendenti porta a molteplici problemi di test?

Se un team di ricercatori esegue test multipli (ipotesi) su un determinato set di dati, esiste un volume di letteratura che afferma che dovrebbero usare una qualche forma di correzione per test multipli (Bonferroni, ecc.), Anche se i test sono indipendenti. La mia domanda è questa: questa stessa logica si applica a più team che testano ipotesi sullo stesso set di dati? Detto in altro modo: qual è la barriera per i calcoli degli errori a livello familiare? I ricercatori dovrebbero limitarsi a riutilizzare i set di dati solo per l'esplorazione?

Non sono molto d'accordo con il salto di @fcoppens dal riconoscere l'importanza della correzione di ipotesi multiple all'interno di una singola indagine sostenendo che "Per lo stesso ragionamento, lo stesso vale se diversi team eseguono questi test".

Non c'è dubbio che più studi vengono eseguiti e più ipotesi vengono verificate, più si verificheranno errori di tipo I. Ma penso che qui ci sia confusione sul significato dei tassi di "errore saggio familiare" e su come si applicano nel lavoro scientifico effettivo.

Innanzitutto, ricorda che le correzioni multi-test sono emerse in genere nei confronti post-hoc per i quali non vi erano ipotesi pre-formulate. Non è affatto chiaro che sono necessarie le stesse correzioni quando esiste un piccolo insieme predefinito di ipotesi.

In secondo luogo, la "verità scientifica" di una singola pubblicazione non dipende dalla verità di ogni singola dichiarazione all'interno della pubblicazione. Uno studio ben progettato affronta un'ipotesi scientifica generale (anziché statistica) da molte prospettive diverse e mette insieme diversi tipi di risultati per valutare l' ipotesi scientifica . Ogni singolo risultato può essere valutato con un test statistico.

Dall'argomento di @fcoppens, tuttavia, se anche uno di quei singoli test statistici commette un errore di tipo I, ciò porta a una "falsa convinzione di" verità scientifica "". Questo è semplicemente sbagliato.

La "verità scientifica" dell'ipotesi scientifica in una pubblicazione, al contrario della validità di un singolo test statistico, deriva generalmente da una combinazione di diversi tipi di prove. L'insistenza su molteplici tipi di prove rende la validità di un'ipotesi scientifica robusta agli errori individuali che inevitabilmente si verificano. Guardando indietro alle mie circa 50 pubblicazioni scientifiche, mi sarebbe difficile trovare qualsiasi cosa rimanga così impeccabile in ogni dettaglio su cui sembra insistere @fcoppens. Eppure io sto in modo simile molto difficile riuscire a trovare qualsiasi dove la scientifical'ipotesi era completamente sbagliata. Incompleto, forse; reso irrilevante dai successivi sviluppi nel settore, certamente. Ma non "sbagliato" nel contesto dello stato delle conoscenze scientifiche al momento.

In terzo luogo, l'argomento ignora i costi di errori di tipo II. Un errore di tipo II potrebbe chiudere interi campi di promettente indagine scientifica. Se si dovessero seguire le raccomandazioni di @fcoppens, i tassi di errore di tipo II aumenterebbero enormemente, a scapito dell'impresa scientifica.

Infine, la raccomandazione è impossibile da seguire nella pratica. Se analizzo un insieme di dati disponibili pubblicamente, potrei non avere modo di sapere se qualcun altro li abbia utilizzati o per quale scopo. Non ho modo di correggere i test di ipotesi di qualcun altro. E come ho discusso sopra, non avrei dovuto.

$\alpha=5\%$$H_0^{(1)}$$H_1^{(1)}$$H_0^{(2)}$$H_1^{(2)}$

$H_0^{(1)}$$\alpha=5\%$

$1 - (1-\alpha)^2$$\alpha=5\%$$9.75\%$

Nel test delle ipotesi statistiche si possono trovare prove statistiche per l'ipotesi alternativa rifiutando il nulla, rifiutando il nulla ci si può concludere che esistono prove a favore dell'ipotesi alternativa. (vedi anche Cosa segue se non riusciamo a respingere l'ipotesi nulla? ).

Quindi un falso rifiuto del nulla ci fornisce prove false, quindi una falsa convinzione della "verità scientifica". Questo è il motivo per cui questa inflazione di tipo I (il quasi raddoppio dell'errore di tipo I) deve essere evitata; errori di tipo I superiori implicano più false credenze sul fatto che qualcosa sia scientificamente provato . Pertanto le persone "controllano" il tipo Ierror a livello familiare.

$5\%$

Per lo stesso ragionamento, lo stesso vale se diversi team eseguono questi test (sugli stessi dati).

Ovviamente, i risultati di cui sopra valgono solo se i team lavorano sugli stessi dati . Cosa c'è di diverso allora quando lavorano su campioni diversi?

$\sigma$$H_0: \mu = 0$$H_1: \mu \ne 0$$\alpha=5\%$

$o$$1.96\sigma$$-1.96\sigma$

$5\%$$H_0$$H_0$$\mu=0$$H_0$$o \not \in [-1.96\sigma;1.96\sigma$$H_0$

Quindi, se utilizziamo gli stessi dati, è possibile che le conclusioni dei test siano basate su un campione che è stato disegnato con "cattive probabilità". Con un altro esempio il contesto è diverso.