Best practice durante l'analisi dei progetti di controllo pre-post trattamento

Immagina il seguente disegno comune:

• 100 partecipanti vengono assegnati in modo casuale a un trattamento oa un gruppo di controllo
• la variabile dipendente è numerica e misurata prima e dopo il trattamento

Tre ovvie opzioni per l'analisi di tali dati sono:

• Testare il gruppo per effetto dell'interazione temporale in ANOVA misto
• Esegui un ANCOVA con condizione come IV e la pre-misura come covariata e posta come DV
• Esegui un test t con condizione come IV e il punteggio pre-post cambia come DV

Domanda:

• Qual è il modo migliore per analizzare tali dati?
• Ci sono ragioni per preferire un approccio rispetto a un altro?

C'è una vasta letteratura su questo argomento (punteggi di cambiamento / guadagno) e penso che i migliori riferimenti provengano dal dominio biomedico, ad es.

Senn, S (2007). Questioni statistiche nello sviluppo di farmaci . Wiley (cap. 7 pagg. 96-112)

Nella ricerca biomedica, è stato svolto anche un lavoro interessante nello studio di studi cross-over (in particolare in relazione agli effetti di carry-over , anche se non so quanto sia applicabile al tuo studio).

Da Gain Score t ad ANCOVA F (e viceversa) , da Knapp & Schaffer, fornisce un'interessante recensione dell'approccio ANCOVA vs. t (il cosiddetto Lord's Paradox). La semplice analisi dei punteggi delle modifiche non è il modo raccomandato per la progettazione pre / post secondo Senn nel suo articolo Modifica dalla base e analisi della covarianza rivisitate (Stat. Med. 2006 25 (24)). Inoltre, l'uso di un modello a effetti misti (ad esempio per tenere conto della correlazione tra i due punti temporali) non è meglio perché è davvero necessario utilizzare la misurazione "pre" come covariata per aumentare la precisione (attraverso la regolazione). Molto brevemente:

• $-$$-$$-$
• La varianza dello stimatore utilizzato in ANCOVA è generalmente inferiore a quella dei punteggi grezzi o di cambiamento (a meno che la correlazione tra pre e post sia uguale a 1).
• Se le relazioni pre / post differiscono tra i due gruppi (pendenza), non è un problema tanto quanto per qualsiasi altro metodo (l'approccio dei punteggi di cambiamento presuppone anche che la relazione sia identica tra i due gruppi - l'ipotesi di pendenza parallela ).
• Sotto l'ipotesi nulla dell'uguaglianza di trattamento (sull'esito), non è previsto alcun trattamento di interazione x basale; è pericoloso adattarsi a tale modello, ma in questo caso è necessario utilizzare le linee di base centrate (altrimenti, l'effetto del trattamento è stimato all'origine della covariata).

Mi piacciono anche i dieci miti sui punteggi delle differenze di Edwards, sebbene si concentri sui punteggi delle differenze in un contesto diverso; ma ecco una bibliografia annotata sull'analisi del cambiamento pre-post (sfortunatamente, non copre lavori molto recenti). Van Breukelen ha anche confrontato ANOVA e ANCOVA in un ambiente randomizzato e non randomizzato, e le sue conclusioni supportano l'idea che ANCOVA debba essere preferito, almeno negli studi randomizzati (che impediscono la regressione all'effetto medio).

Daniel B. Wright ne discute nella sezione 5 del suo articolo Fare amicizia con i tuoi dati . Suggerisce (p.130):

L'unica procedura che è sempre corretta in questa situazione è un diagramma a dispersione che confronta i punteggi al momento 2 con quelli al momento 1 per i diversi gruppi. Nella maggior parte dei casi è necessario analizzare i dati in diversi modi. Se gli approcci danno risultati diversi ... pensa più attentamente al modello implicato da ciascuno.

Raccomanda i seguenti articoli come ulteriore lettura:

• Hand, DJ (1994). Decostruire domande statistiche. Giornale della Royal Statistical Society: A, 157, 317–356.
• Lord, FM (1967). Un paradosso nell'interpretazione dei confronti di gruppo. Bollettino psicologico, 72, 304–305. PDF gratuito
• Wainer, H. (1991). Adeguamento per tassi base differenziali: il paradosso di Lord di nuovo. Bollettino psicologico, 109, 147–151. PDF gratuito

Le strategie più comuni sarebbero:

1. Ripetute misure ANOVA con un fattore all'interno del soggetto (pre vs. post test) e un fattore tra soggetti (trattamento vs. controllo).
2. ANCOVA sui punteggi post-trattamento, con punteggio pre-trattamento come covariata e trattamento come variabile indipendente. Intuitivamente, l'idea è che un test delle differenze tra i due gruppi è davvero ciò che stai cercando e includendo i punteggi pre-test come una covariata può aumentare la potenza rispetto a un semplice test t o ANOVA.

Ci sono molte discussioni sull'interpretazione, i presupposti e le differenze apparentemente paradossali tra questi due approcci e su alternative più sofisticate (specialmente quando i partecipanti non possono essere assegnati in modo casuale al trattamento) ma rimangono piuttosto standard, penso.

Un'importante fonte di confusione è che per ANOVA l'effetto dell'interesse è molto probabilmente l' interazione tra tempo e trattamento e non l'effetto principale del trattamento. Per inciso, il test F per questo termine di interazione produrrà esattamente lo stesso risultato di un test t campione indipendente sui punteggi di guadagno (ovvero i punteggi ottenuti sottraendo il punteggio pre-test dal punteggio post-test per ciascun partecipante), quindi è possibile anche per quello.

Se tutto questo è troppo, non hai tempo per capirlo, e non puoi ottenere un aiuto da uno statistico, un approccio rapido e sporco ma non del tutto assurdo sarebbe semplicemente confrontare i punteggi post-test con un T-test del campione indipendente, ignorando i valori pre-test. Ciò ha senso solo se i partecipanti sono stati effettivamente assegnati in modo casuale al gruppo di trattamento o di controllo .

Infine, questo non è di per sé un'ottima ragione per sceglierlo, ma sospetto che l'approccio 2 sopra (ANCOVA) sia ciò che attualmente passa per il giusto approccio in psicologia, quindi se scegli qualcos'altro potresti dover spiegare la tecnica in dettaglio o giustificare te stesso a qualcuno che è convinto, ad esempio che "i punteggi di guadagno sono noti per essere cattivi".

ANCOVA e misure ripetute / modello misto per il termine di interazione stanno testando due diverse ipotesi. Fare riferimento a questo articolo: articolo 1 e questo articolo: articolo 2

Dal momento che hai due mezzi (o di un articolo specifico o della somma dell'inventario), non c'è motivo di prendere in considerazione un ANOVA. Un t-test associato è probabilmente appropriato; questo può aiutarti a scegliere quale test t hai bisogno.

Vuoi vedere risultati specifici per articolo o punteggi complessivi? Se vuoi fare un'analisi degli articoli, questo potrebbe essere un utile punto di partenza.