Post-hocs per test all'interno di soggetti?

20

Qual è il metodo preferito per condurre post-hocs nell'ambito dei test dei soggetti? Ho visto lavori pubblicati in cui viene impiegato HSD di Tukey, ma una recensione di Keppel e Maxwell & Delaney suggerisce che la probabile violazione della sfericità in questi progetti rende il termine di errore errato e questo approccio problematico. Maxwell e Delaney forniscono un approccio al problema nel loro libro, ma non l'ho mai visto così in nessun pacchetto di statistiche. L'approccio che offrono è appropriato? Sarebbe ragionevole una correzione Bonferroni o Sidak su più test T per campioni accoppiati? Una risposta accettabile fornirà un codice R generale che può condurre post-hocs su progetti semplici, a più vie e misti come prodotti dalla ezANOVAfunzione nel ezpacchetto e citazioni appropriate che probabilmente passeranno in rassegna con i revisori.

— russellpierce
fonte

1

Questo articolo di David Howell spiega i problemi e diverse soluzioni.

— Harvey Motulsky,

quando hai accettato la risposta usando il pacchetto multcomp, potresti approfondire un po 'su come hai finalmente usato multcomp. Si sta utilizzando con il lmeo lmerla funzione o con alcuni metodi più tradizionali come t-test o ANOVA (come attualmente sto cercando di utilizzare con ANOVA).

— Henrik,

Ho accettato la risposta multcomp in primo luogo perché sono completamente insoddisfatto delle tecniche di regolazione del valore p che la community ha scelto come risposta "giusta". L'ho guardato e mi è sembrato promettente, ma non ho indagato ulteriormente. Sarei interessato a saperne di più su ciò che stai provando e ciò che stai scoprendo.

— Russellpierce,

Ho trovato un modo per specificare un ANOVA a misure ripetute usando lme, vedere i commenti alla risposta accettata: stats.stackexchange.com/q/14088/442 Con un oggetto di classe lmeche puoi usare multcompper effetti all'interno del soggetto. Offre diversi tipi di regolazione dell'errore alfa, ma soprattutto quelli che non ti piacciono particolarmente (come quello che ho proposto che è stato votato come "giusto" dalla comunità). Oltre alla vignetta, c'è anche un libro multcompche spiega tutti i metodi. Se si desidera post-hocs senza regolazione, utilizzare fit.contrastda gmodelo il nuovo contrastpacchetto.

— Henrik,

Sei ancora interessato a una soluzione per la ezANOVAfunzione? In tal caso, penso di poter rispondere a questa domanda, ma la A farebbe affidamento su test per modelli univariati per i quali la sfericità è un presupposto fondamentale. Se non hai bisogno che A sia vincolata ai calcoli ANOVA del ezpacchetto, potrei dare una A che utilizza modelli multivariati per i test post-hoc.

— statmerkur,

7

Dai un'occhiata al pacchetto multicomp e alla sua vignetta Inferenza simultanea nei modelli parametrici generali . Penso che dovrebbe fare ciò che non lo è e la vignetta ha ottimi esempi e riferimenti estesi.

— Matti Pastell
fonte

21

Attualmente sto scrivendo un articolo in cui ho il piacere di condurre confronti tra e all'interno dei soggetti. Dopo aver discusso con il mio supervisore, abbiamo deciso di eseguire i test t e di utilizzare il piuttosto semplice Holm-Bonferroni method( Wikipedia ) per correggere il cumulo degli errori alfa. Controlla il tasso di errore familiare ma ha una potenza maggiore rispetto alla normale procedura Bonferroni. Procedura:

Si esegue le t -test per tutti i confronti che si desidera fare.
Ordinate i valori p in base al loro valore.
Testate il valore p più piccolo contro alpha / k , il secondo più piccolo contro alpha / ( k - 1) e così via fino a quando il primo test risulta non significativo in questa sequenza di test.

Cite Holm (1979) che può essere scaricato tramite il link su wikipedia .

— Henrik
fonte

1

forse un ANOVA prima di più test?

— Stan

2

Penso che ciò sia implicito nella risposta. Si eseguono i test post-hoc dopo il significativo ANOVA.

— Henrik,

2

@Henrik: spero di non battere un cavallo morto qui ... pubblicando un vecchio post. Quindi ho una domanda sul modo in cui hai eseguito i test t. Hai usato la varianza aggregata (dall'ANOVA) o hai semplicemente fatto dei test t a coppie indipendenti? Il motivo per cui lo chiedo è perché ho provato a utilizzare pairwise.t.test()per fare confronti a coppie usando il metodo Bonferroni o il metodo Holm-Bonf, ma i risultati differiscono drasticamente a seconda che io usi il pool sd o tratti ciascun confronto come un t separato, indipendente -test. Grazie!

— Alex,

2

@Alex: l'utilizzo di un approccio 'protetto' in cui i test t vengono eseguiti solo dopo un ANOVA significativo implica l'uso del termine di errore aggregato. Tuttavia, poiché questa non è un'opzione spesso fornita dal software statistico, le persone tendono a non farlo. Inoltre, nella misura in cui la sfericità è violata, è una cosa discutibile da fare in primo luogo.

— Russellpierce,

5

Ricordo alcune discussioni su questo in passato; Non sono a conoscenza di alcuna implementazione dell'approccio di Maxwell & Delaney, anche se non dovrebbe essere troppo difficile da fare. Dai un'occhiata a " Misure ripetute ANOVA usando R " che mostra anche un metodo per affrontare il problema della sfericità nell'HSD di Tukey .

Potresti anche trovare questa descrizione del test di interesse di Friedman .

— Shane
fonte

Grazie, penso che il test di Friedman sia interessante, ma non riesco a capire come stia facendo quell'aggiustamento per l'errore di tipo I nel post-hoc. I commenti dicono che si tratta di un "test di Wilcoxon-Nemenyi-McDonald-Thompson" ma non ne ho mai sentito parlare prima, potresti spiegarlo?

— Russellpierce,

@Shane Il primo link è morto :-(

— Adam Ryczkowski il

2

Esistono DUE opzioni per i test F inferenziali in SPSS. Il multivariato NON assume la sfericità, quindi utilizza una diversa correlazione a coppie per ciascuna coppia di variabili. I "test degli effetti interni ai soggetti", inclusi eventuali test post hoc, assumono la sfericità e apportano alcune correzioni per l'utilizzo di una correlazione comune in tutti i test. Queste procedure sono un retaggio dei tempi in cui il calcolo era costoso e sono una perdita di tempo con le moderne strutture informatiche.

La mia raccomandazione è di prendere l'omnibus MULTIVARIATE F per qualsiasi misura ripetuta. Quindi eseguire il follow-up con test t a coppie post hoc o ANOVA con solo 2 livelli in ciascun confronto di misure ripetute se vi sono anche fattori tra soggetti. Vorrei fare la semplice correzione bon ferroni di dividere il livello alfa per il numero di test.

Assicurati anche di guardare la dimensione dell'effetto [disponibile nella finestra di dialogo delle opzioni]. Effetti di grandi dimensioni che sono "vicini" a significativi possono essere più degni di attenzione [e futuri esperimenti] rispetto a piccoli, ma significativi effetti.

Un approccio più sofisticato è disponibile nella procedura SPSS MISTA, e anche in pacchetti meno facili da usare [ma gratuiti] come R.

Sommario, in SPSSS, la F multivariata seguita da un incarico di coppia Bon Ferroni con Bonferroni dovrebbe essere sufficiente per la maggior parte delle esigenze.

0

Userò la funzione R qtukey (1-alpha, significa, df) per creare elementi della configurazione della famiglia.

$tukey_{0.05,4,16}$

$MS_{Error}$ $\begin{align} & Tuke{{y}_{k,df}}=\frac{Ma{{x}_{j=1,2,\ldots ,k}}\left\{ {{z}_{j}} \right\}-Mi{{n}_{j=1,2,\ldots ,k}}\left\{ {{z}_{j}} \right\}}{\sqrt{\chi _{df}^{2}/df}} \\ & =\frac{Rang{{e}_{j=1,2,\ldots ,k}}\left\{ \frac{{{M}_{j}}-{{\mu }_{j}}}{{{\sigma }_{M}}} \right\}}{S{{E}_{M}}/{{\sigma }_{M}}} \\ & =\frac{Rang{{e}_{j=1,2,\ldots ,k}}\left\{ {{M}_{j}}-{{\mu }_{j}} \right\}}{S{{E}_{M}}} \\ & =\frac{Ma{{x}_{1\le {{j}_{1}},{{j}_{2}}\le k}}\left\{ \left| \left( {{M}_{{{j}_{1}}}}-{{\mu }_{{{j}_{1}}}} \right)-\left( {{M}_{{{j}_{2}}}}-{{\mu }_{{{j}_{2}}}} \right) \right| \right\}}{S{{E}_{M}}} \\ & =\frac{Ma{{x}_{1\le {{j}_{1}},{{j}_{2}}\le k}}\left\{ \left| \left( {{M}_{{{j}_{1}}}}-{{M}_{{{j}_{2}}}} \right)-\left( {{\mu }_{{{j}_{1}}}}-{{\mu }_{{{j}_{2}}}} \right) \right| \right\}}{S{{E}_{M}}} \\ \end{align}$

$S{{E}_{M}}\times tuke{{y}_{\alpha ,4,16}}=\sqrt{\frac{M{{S}_{Error}}}{5}}\times tuke{{y}_{\alpha ,4,16}}$

\begin{aligned} {T u k e y_{k, d f} \leq t u k e y_{0.05, 4, 16}} \\ = {\frac{M a x_{1 \leq j_{1}, j_{2} \leq k} {| (M_{j_{1}} - M_{j_{2}}) - (μ_{j_{1}} - μ_{j_{2}}) |}}{S E_{M}} \leq t u k e y_{.05, 4, 16}} \\ = \cap_{1 \leq j_{1}, j_{2} \leq k} {| (M_{j_{1}} - M_{j_{2}}) - (μ_{j_{1}} - μ_{j_{2}}) | \leq S E_{M} \times t u k e y_{.05, 4, 16}} \end{aligned}

$\begin{align} & \left\{ Tuke{{y}_{k,df}}\le tuke{{y}_{0.05,4,16}} \right\} \\ & =\left\{ \frac{Ma{{x}_{1\le {{j}_{1}},{{j}_{2}}\le k}}\left\{ \left| \left( {{M}_{{{j}_{1}}}}-{{M}_{{{j}_{2}}}} \right)-\left( {{\mu }_{{{j}_{1}}}}-{{\mu }_{{{j}_{2}}}} \right) \right| \right\}}{S{{E}_{M}}}\le tuke{{y}_{.05,4,16}} \right\} \\ & ={{\cap }_{1\le {{j}_{1}},{{j}_{2}}\le k}}\left\{ \left| \left( {{M}_{{{j}_{1}}}}-{{M}_{{{j}_{2}}}} \right)-\left( {{\mu }_{{{j}_{1}}}}-{{\mu }_{{{j}_{2}}}} \right) \right|\le S{{E}_{M}}\times tuke{{y}_{.05,4,16}} \right\} \\ \end{align}$

Dato un disegno all'interno del soggetto con k = 4 livelli, 17 dimensioni del campione ad es. (17-1) = 16 df per $MS_{Error}$ ${{X}_{i,j}}=\left( {{\mu }_{j}}+{{v}_{i}} \right)+{{\varepsilon }_{i,j}}={{\widetilde{X}}_{i,j}}+{{\varepsilon }_{i,j}}$ $\sqrt{M{{S}_{Error}}/17}\times tuke{{y}_{\alpha ,4,16}}$ because--

\begin{aligned} T u K e y_{K, d f} = \frac{M un' X_{j = 1, 2, ..., K} {z_{j}} - M io n_{j = 1, 2, ..., K} {z_{j}}}{\sqrt{χ_{d f}^{2} / d f}} \\ = \frac{R un' n g e_{j = 1, 2, ..., K} {\frac{M e un' n_{1 \leq io \leq n} {{\tilde{X}}_{io, j} + ε_{io, j}} - M e un' n_{1 \leq io \leq n} {{\tilde{X}}_{io, j}}}{σ_{M e un' n_{1 \leq io \leq n} {ε_{io, j}}}}}}{{\hat{σ}}_{M e un' n_{1 \leq io \leq n} {ε_{io, j}}} / σ_{M e un' n_{1 \leq io \leq n} {ε_{io, j}}}} \\ = \frac{R un' n g e_{j = 1, 2, ..., K} {M_{j} - (μ_{j} + M e un' n_{1 \leq io \leq n} {v_{io}})}}{{\hat{σ}}_{M e un' n_{1 \leq io \leq n} {ε_{io, j}}}} \\ = \frac{R un' n g e_{j = 1, 2, ..., K} {M_{j} - μ_{j}}}{\sqrt{M S_{E r r o r} / n}} \\ = \frac{M un' X_{1 \leq j_{1}, j_{2} \leq K} {| (M_{j_{1}} - M_{j_{2}}) - (μ_{j_{1}} - μ_{j_{2}}) |}}{\sqrt{M S_{E r r o r} / n}} \end{aligned}

$\begin{align} & Tuke{{y}_{k,df}}=\frac{Ma{{x}_{j=1,2,\ldots ,k}}\left\{ {{z}_{j}} \right\}-Mi{{n}_{j=1,2,\ldots ,k}}\left\{ {{z}_{j}} \right\}}{\sqrt{\chi _{df}^{2}/df}} \\ & =\frac{Rang{{e}_{j=1,2,\ldots ,k}}\left\{ \frac{Mea{{n}_{1\le i\le n}}\left\{ {{\widetilde{X}}_{i,j}}+{{\varepsilon }_{i,j}} \right\}-Mea{{n}_{1\le i\le n}}\left\{ {{\widetilde{X}}_{i,j}} \right\}}{{{\sigma }_{Mea{{n}_{1\le i\le n}}\left\{ {{\varepsilon }_{i,j}} \right\}}}} \right\}}{{{{\hat{\sigma }}}_{Mea{{n}_{1\le i\le n}}\left\{ {{\varepsilon }_{i,j}} \right\}}}/{{\sigma }_{Mea{{n}_{1\le i\le n}}\left\{ {{\varepsilon }_{i,j}} \right\}}}} \\ & =\frac{Rang{{e}_{j=1,2,\ldots ,k}}\left\{ {{M}_{j}}-\left( {{\mu }_{j}}+Mea{{n}_{1\le i\le n}}\left\{ {{v}_{i}} \right\} \right) \right\}}{{{{\hat{\sigma }}}_{Mea{{n}_{1\le i\le n}}\left\{ {{\varepsilon }_{i,j}} \right\}}}} \\ & =\frac{Rang{{e}_{j=1,2,\ldots ,k}}\left\{ {{M}_{j}}-{{\mu }_{j}} \right\}}{\sqrt{M{{S}_{Error}}/n}} \\ & =\frac{Ma{{x}_{1\le {{j}_{1}},{{j}_{2}}\le k}}\left\{ \left| \left( {{M}_{{{j}_{1}}}}-{{M}_{{{j}_{2}}}} \right)-\left( {{\mu }_{{{j}_{1}}}}-{{\mu }_{{{j}_{2}}}} \right) \right| \right\}}{\sqrt{M{{S}_{Error}}/n}} \\ \end{align}$

— Xiaoxu LI
fonte