Se vengono "pianificati" più confronti, è comunque necessario correggerli per più confronti?

20

Sto rivedendo un documento che ha eseguito> 15 test 2x2 Chi Square separati. Ho suggerito di dover correggere più confronti, ma hanno risposto affermando che tutti i confronti erano pianificati e quindi non è necessario.

Penso che questo non debba essere corretto, ma non riesco a trovare risorse che affermino esplicitamente se questo è il caso.

Qualcuno è in grado di aiutare con questo?

Aggiornare:

Grazie per tutte le tue risposte molto utili. In risposta alla richiesta di @ gung per ulteriori informazioni sullo studio e le analisi, stanno confrontando i dati di conteggio per due tipi di partecipanti (studenti, non studenti) in due condizioni, in tre periodi di tempo. I multipli test 2x2 Chi Square stanno confrontando ogni periodo di tempo, in ciascuna condizione, per ogni tipo di partecipante (se ciò ha senso; ad esempio studenti, condizione 1, periodo di tempo 1 vs periodo di tempo 2), quindi tutte le analisi stanno verificando la stessa ipotesi .

hypothesis-testing  multiple-comparisons 
— DrJay
fonte
2
Molte persone che effettuano confronti multipli pianificano di fare tutte a priori . Lo fanno perché vogliono controllare il tasso di errore complessivo di tipo I. In alcune situazioni può essere ragionevole non correggere per confronti multipli, ma non è solo una questione di pianificazione fare tutto dall'inizio.
— Glen_b
3
Puoi dire qualcosa in più sullo studio, i loro dati e le loro analisi? Il> 15 equivale a tutti i possibili confronti, o solo una piccola percentuale? Quanti dati hanno? Quanto è plausibile che le ipotesi fossero tutte a priori? Sono tutti significativi? I test del chi-quadrato sono indipendenti l'uno dall'altro? Considera anche alcune delle domande sollevate nella risposta di @ peuhp.
— gung - Ripristina Monica
4
Poiché "loro" sono probabilmente interessati a trovare risultati significativi, la loro risposta è egoistica. Pertanto l'onere per loro è dimostrare il motivo per cui il loro approccio è legittimo, piuttosto che per te dimostrare che è illegittimo. Qualsiasi tentativo di dimostrare che le correzioni di confronti multipli possono essere trascurate fallirà non appena considera il tasso di falsi positivi su tutta la carta, e quindi "loro" devono (disingenuamente) evitare ogni considerazione di tale problema oppure fornire una buona argomentazione sul perché non è preoccupante per il pubblico previsto.
— whuber
1
Sarei fortemente tentato di rispondere con un link a questa striscia XKCD (che, come potresti notare, comporta una serie completamente pianificata di test multipli ...).
— Ilmari Karonen l'

Risposte:

21

Questo è un problema complesso e vorrei fare tre commenti su questa situazione.

In primo luogo e in generale, vorrei concentrarmi maggiormente sul fatto che si debba affrontare uno studio di conferma con una serie di ipotesi ben definite definite in un contesto argomentativo o uno studio esplicativo in cui vengono osservati molti indicatori probabili rispetto al fatto che siano pianificati o meno (perché è possibile pianifica semplicemente di fare tutti i confronti possibili).

In secondo luogo, vorrei anche concentrarmi su come vengono discussi i valori p risultanti. Sono usati individualmente per servire una serie di conclusioni definitive o sono discussi congiuntamente come prove e mancanza di prove?

Infine, vorrei discutere la possibilità che l'ipotesi> 15 risultante dai> 15 test chi-quadrati separati sia in realtà l'espressione di singole ipotesi (forse una sola) che possono essere riassunte.

Più in generale, indipendentemente dal fatto che le ipotesi siano prespecificate o meno, la correzione per confronti multipli o meno è una questione di ciò che si include nell'errore di tipo I. Non correggendo per MC, si mantiene solo un controllo del tasso di errore di tipo I per confronto. Quindi, in caso di numerosi confronti, si ha un alto tasso di errore di tipo I per la famiglia e quindi sono più inclini alla scoperta falsa.

— peuhp
fonte
8
(+1) Potrebbe valere la pena precisare che il tasso di errore dal punto di vista dell'esperimento non è controllato dai quindici singoli confronti previsti; d'altra parte, i possibili confronti oltre i quindici non previsti nel protocollo non devono essere presi in considerazione nella correzione di confronti multipli.
— Scortchi - Ripristina Monica
@Scortchi Grazie per il tuo contributo, ma non capisco cosa intendi con "il tasso di errore dal punto di vista dell'esperimento non è controllato dai quindici confronti individuali in programma"?
— peuhp
1
Solo il punto di base che se si desidera controllare la probabilità sotto il valore zero di commettere uno o più errori di tipo I in tutti quei test, è necessario utilizzare una procedura di confronto multiplo. Lo menziono solo perché ho incontrato confusione sulla questione prima.
— Scortchi - Ripristina Monica
2
Si noti che questo stesso identico problema è emerso in una discussione molto recente: l' applicazione Post Hoc dei confronti multipli .
— Michael R. Chernick,
1
@Scortchi. Ok grazie per questo chiarimento e input, questo dovrebbe essere chiaramente specificato nella mia risposta. Aggiungerò questo.
— peuhp
5

Dato il tuo aggiornamento sulla progettazione, suggerirei che eseguano una qualche forma di modello log-lineare per utilizzare tutti i dati contemporaneamente. Fare le analisi del pasto singolo che hanno fatto sembra (a) inefficiente (b) non scientifico in quanto verifica 15 ipotesi in cui sicuramente ci sono meno ipotesi reali.

Non sono un fan della correzione della molteplicità come riflesso condizionato, ma in questo caso se rifiutano un approccio analitico più profondo, suggerirei che correggano.

— mdewey
fonte
1
k15
1
χ2
4

Se si sostituisce la parola "premeditato" con "pianificato", ciò può aiutare a dissipare l'argomento offerto dagli autori. Considera due diverse analisi statistiche degli stessi dati:

  1. Un "crimine premeditato" in cui ogni possibile test di ipotesi è presentato in modo combinatorio in anticipo da una "mente criminale statistica", il piano è quello di provarli sistematicamente e scegliere il test con il più piccolo valore p come il "risultato chiave" promuovere nelle sezioni Risultati, Discussione e Conclusione del documento, e in effetti anche il Titolo.
  2. Un "crimine di passione" in cui l'intenzione iniziale era semplicemente di confrontare i dati con un'ipotesi, ma "beh ... una cosa porta a un'altra" e molteplici test di ipotesi ad hoc "si verificano" nel calore della passione scientifica per impara "qualcosa ... qualsiasi cosa! " dai dati.

Ad ogni modo, è un "omicidio": la domanda è se si tratti di prima o seconda laurea. Chiaramente, il primo è moralmente più problematico. Mi sembra che gli autori qui stiano tentando di rivendicare qualcosa per il fatto che non è stato un omicidio perché era premeditato.

— David C. Norris
fonte
4
Ma fare confronti multipli non è un crimine, premeditato o meno. La P-caccia è.
— Cliff AB,
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.