Quale potrebbe essere una definizione chiara e pratica per una "famiglia di ipotesi" (rispetto al tasso di errore familiare)?

Quando ho cercato di valutare ciò che costituisce una famiglia di ipotesi all'interno di un esperimento / progetto / analisi, ho trovato "simili nello scopo" e "simili nei contenuti" forniti come linee guida per la delimitazione delle famiglie, ma queste lasciano molto aperte all'interpretazione ( per non dire altro).

Sembra chiaro che se nel corso di un'analisi faccio diversi test di mezzi di gruppo e un lotto separato di test di omogeneità delle proporzioni, non raggrupperei tutto in un'unica famiglia di ipotesi.

Tuttavia, se ho diversi lotti di test in qualche modo correlati di mezzi di gruppo, quale criterio li unisce in una famiglia (o li divide in famiglie separate)? Tutti i membri di una famiglia dovrebbero avere la stessa variabile di risposta? Se avessi variabili di risposta diverse ma lo stesso insieme di casi coinvolti, questi sarebbero tutti raggruppati in una famiglia di ipotesi?

La questione dei confronti multipli è un argomento davvero importante. Ci sono state molte opinioni e molti disaccordi. Ciò è dovuto a molte cose; tra l'altro, è in parte dovuto al fatto che il problema è veramente importante e in parte perché non esiste una regola o un criterio definitivo. Prendi un caso prototipico: conduci un esperimento con trattamenti e ricevi un ANOVA significativo, quindi ora ti chiedi quale trattamento significhi diverso. Come dovresti procedere, esegui t-test? Sebbene questi test manterrebbero individualmente a .05, esploderà "familywise" (cioè la probabilità che si verifichi almeno 1 errore di tipo I). In effetti, il tasso di errore a livello familiare saràk ( k - 1 ) / 2 α α 1 - ( 1 - α ) k α $k$$k(k-1)/2$$\alpha$$\alpha$$1-(1-\alpha)^k$. La domanda è: cosa definisce una "famiglia"? E non esiste una risposta definitiva, oltre a quella banale che una "famiglia" è un insieme di contrasti. Se una particolare serie di contrasti debba essere considerata una famiglia è una decisione soggettiva. La 3a, 17a e 42a analisi che io abbia mai condotto in vita mia sono un insieme di contrasti, e avrei potuto regolare la mia soglia per assicurare che la probabilità di errori di tipo I tra loro fosse mantenuta al 5%, ma nessuno lo troverei sensato. La domanda per te è se consideri i tuoi contrasti come un insieme in un senso significativo, e solo tu puoi esprimere quel giudizio. Offrirò alcuni approcci standard. Molti analisti ritengono che se una serie di contrasti proviene dallo stesso set di esperimenti / dati, dovrebbero essere trattati come una famiglia,$\alpha$$\alpha$ regolazione ) sono necessari. Altri credono che anche quando i contrasti provengono dallo stesso esperimento, se sono a priori e ortogonali, non sono necessarie procedure speciali. Entrambe queste posizioni possono essere difese. Infine, nota anche che le procedure per controllare i tassi di errore familiari hanno un costo - vale a dire. aumento dei tassi di errore di tipo II.

Il criterio è che le ipotesi sono interdipendenti, nel senso che se una di esse si rompe, allora l'intera tua conclusione o teoria si rompe. Quindi hai bisogno di una garanzia che se tutti i test sono significativi nessuno di essi è falsamente significativo.

Una discussione su researchgate ( http://www.researchgate.net/post/Bonferroni-how_is_the_family_of_hypotheses_defined ) ha fornito un elenco di articoli, che potrebbero aiutare a raccogliere opinioni - gli articoli in realtà iniziano dalla domanda "quando applicare correzioni in una situazione di test multipli ". I documenti citati spesso sono:

1) Rothman KJ. Non sono necessarie modifiche per confronti multipli. Epidemiology.1990; 1 (1): 43-6. http://psg-mac43.ucsf.edu/ticr/syllabus/courses/9/2003/02/27/Lecture/readings/Rothman.pdf

2) Perneger TV. Cosa c'è che non va nelle regolazioni di Bonferroni. BMJ. 1998; 316 (7139): 1236-8. http://static.sdu.dk/mediafiles/D/1/F/%7BD1F06030-8FA7-4EE2-BB7D-60D683B18EAA%7DWhat_s-wrong%20_with_Bonferroni_adjustments.BMJ.1998.pdf

3) Bender R, Lange S. Regolazione per test multipli: quando e come? J Clin Epidemiol. 2001; 54: 343-9. http://www.rbsd.de/PDF/multiple.pdf

Sommario:

1) e 2) concentrarsi su "tutte le ipotesi null sono vere", chiamata ipotesi null generale. Può essere respinto in modo più appropriato (cioè senza alfa-cummulazione) se vengono applicati aggiustamenti per confronti multipli. Tuttavia, sia 1) sia 2) si oppongono al fatto che l'ipotesi nulla generale sia raramente utilizzata pienamente nel processo di ricerca scientifica - quindi il criterio "l'intera teoria si rompe" non si applica automaticamente, quando una / alcune delle ipotesi null nei propri dati le analisi sono rifiutate per caso. 1) aggiunge che è ingenuo pensare a singole ipotesi nulle, che sono state (falsamente) respinte e non saranno mai più riviste dalla comunità scientifica.

3) afferma che una volta che singole ipotesi si fondono in un argomento, le modifiche devono essere fatte.

Dal mio punto di vista 1), 2), 3) insieme rispecchiamo, con quanta cura dobbiamo rispettare il criterio dell'intera teoria. Né esiste un modo per mettere tutte le ipotesi nulle in una grande salsiccia, né un modo per fare affidamento sulle fette di salsiccia presentate come tante singole ipotesi. Questo è dove il lavoro empirico incontra davvero lavorare con la teoria del dominio in ricerca.