Quanto più piccoli possono essere i valori

Intro: Avendo notato l'attenzione ricevuta oggi da questa domanda, " ANOVA può essere significativo quando nessuno dei t-test a coppie è? ", Ho pensato che avrei potuto riformularlo in un modo interessante che meriterebbe il proprio set di risposte .

Una varietà di risultati incongrui (al valore nominale) può verificarsi quando la significatività statistica è intesa come una semplice dicotomia e giudicata sulla base della quale la sola è maggiore, la $p$ o la $\alpha$ . La risposta di @ Glen_b alla domanda di cui sopra presenta un utile esempio di un caso in cui:

• Un test ANOVA $F$produce un $p_F<.05$ per una variabile indipendente (IV) con quattro livelli, ma
• $p_t>.08$ per tutti$t$ test t a due campioniche confrontano le differenze nella stessa variabile dipendente (DV) tra le osservazioni corrispondenti a ciascuna coppia dei quattro livelli dell'IV.

Un caso simile si è verificato nonostante le correzioni di Bonferroni per i confronti a coppie post hoc tramite questa domanda: le misure ripetute Anova sono significative, ma tutti i confronti multipli con la correzione di Bonferroni non lo sono? Esistono anche casi precedentemente menzionati con un test leggermente diverso nella regressione multipla:

• Perché è possibile ottenere statistiche F significative (p <.001) ma test t regressori non significativi? : $p_F<.001,p_{\beta t}>.09$
• In che modo una regressione può essere significativa ma tutti i predittori non sono significativi?
  • Nella risposta di @ whuber , $p_F=.0003,p_{\beta t}>.09$

Scommetto che in casi come questi, alcuni (ma non tutti) i confronti $p$$\alpha$$p <\alpha$ (o i test di significatività '' dei coefficienti di regressione) devono essere abbastanza vicini ad α se un corrispondente test omnibus può raggiungere un p < α . Vedo che questo è il caso del primo esempio di @ Glen_b, in cui $F_{(3,20)}=3.19$ , $p_F=.046$ e la più grande differenza a coppie dà la più piccola $p_t=.054$ . Questo deve essere il caso in generale? Più specificamente :

Domanda: Se un test ANOVA $F$produce un $p_F=.05$ per l'effetto di un IV politittico su un DV continuo, quanto può essere alto il valore più basso$p$ tra tutti $t$ test t a due campioni che confrontano ciascuna coppia dei livelli del IV? Il significato minimo a coppie potrebbe essere alto quanto$p_t=.50$ ?

_{Accolgo con favore le risposte che affrontano solo questa domanda specifica . Tuttavia, per motivare ulteriormente questa domanda, elaborerò e porterò alcune domande potenzialmente retoriche. Ti invitiamo a rispondere anche a queste preoccupazioni e anche a ignorare la domanda specifica, se lo desideri, soprattutto se la domanda specifica ottiene una risposta definitiva.}

Significato: considera quanto meno importante sarebbe la differenza tra a e a p t = .06 se il significato statistico fosse giudicato in termini continui della forza dell'evidenza rispetto all'ipotesi nulla (l'approccio di Ron Fisher, penso? ), anziché in termini dicotomici come sopra o sotto un valore α = .05 secondo la pratica comune di dicotomizzare il significato negli equivalenti di "abbastanza buono" e "non abbastanza buono". Se uno dovesse smaltire questa pratica e concentrarsi invece sull'interpretazione $p_F=.04$$p_t=.06$$\alpha=.05$ soglia per una probabilità accettabile di errore nella scelta se rifiutare il commercio all'ingrosso nullo. " -hacking$p$ " è un problema noto che deve in parte la sua notorietà a una vulnerabilità non necessaria introdotta dall'interpretazione di $p$$p$valori come forza di prova rispetto al nulla su un intervallo continuo, il test dell'omnibus potrebbe essere un po 'meno importante quando ci si preoccupa davvero di più confronti a coppie? Non necessariamente inutile, poiché qualsiasi miglioramento ragionevolmente efficace nell'accuratezza statistica è ovviamente desiderabile, ma ... se, ad esempio, il confronto più basso a coppievalore pè necessariamente all'interno di .10 dell'ANOVA (o altro test omnibus)$p$$.10$$p$valore, questo non rende il test omnibus un po 'più banale, meno obbligatorio e persino più fuorviante (in combinazione con preesistenti equivoci), soprattutto se non si desidera controllare in modo particolare attraverso più test?$\alpha$

Viceversa, se i dati possono esistere in modo tale che un omnibus , ma tutti p a coppie p > .50 , questo non dovrebbe motivare ulteriormente i test di omnibus e contrasto durante la pratica e la pedagogia? Mi sembra che questo problema dovrebbe anche informare i meriti relativi di giudicare il significato statistico secondo una dicotomia rispetto a un continuum, in quanto il sistema interpretativo dicotomico dovrebbe essere più sensibile ai piccoli aggiustamenti quando le differenze sono "marginalmente significative", mentre nessuno dei due sistemi è al sicuro dall'incapacità di eseguire un test omnibus o regolare per confronti multipli se questa differenza / regolazione può essere molto grande (ad es., $p=.05$$p>.50$ in teoria.$p_t-p_F>.40)$

_{Altre complessità opzionali da considerare o ignorare, qualunque cosa renda la risposta più semplice e utile :}

• ^{Quanto potrebbe essere alto s per t s se, invece, per F , p < .05 (es. P = .01 , .001 , ... )$p$$t$$F$$p<.05$$p=.01, .001,\dots$}
• ^{Sensibilità al numero di livelli in un IV politittico}
• ^{Sensibilità all'irregolarità nel significato delle differenze a coppie (mentre tutto )$p_t>p_F$}
  • ^{la risposta di Whuber indica che l'inclusione di piccole differenze può mascherare grandi differenze.}
• ^{Differenze tra le varie correzioni dei test omnibus per confronti multipli}
  • ^{Guarda anche: Correzione di confronti multipli in un soggetto / misure ripetute ANOVA; eccessivamente conservatore?}
  • ^{Con più IV, sembra che la multicollinearità possa aggravare questo problema .}
• ^{Casi limitati in cui i dati soddisfano in modo ottimale tutti i presupposti dei test parametrici classici}
  • ^{Questa restrizione può essere importante per evitare che questa domanda sia in qualche modo controversa.}

Supponendo uguali [ma vedere la nota 2 di seguito] per ciascun trattamento in un layout unidirezionale e che la SD aggregata di tutti i gruppi viene utilizzata nei test t (come avviene nei consueti confronti post hoc), il massimo possibile il valore p per un test t è 2 Φ ( - $n$$t$$p$$t$(qui,ΦindicaN(0,1)cdf). Pertanto, nessunaptpuò arrivare a0,5. È interessante (e piuttosto bizzarro), illimite.1573vale non solo perpF=.05, ma per qualsiasi livello di significatività richiesto per$2\Phi(-\sqrt{2}) \approx .1573$$\Phi$$N(0,1)$$p_t$$0.5$$.1573$$p_F=.05$$F$ .

La giustificazione è la seguente: per un dato intervallo di medie campionarie, , la più grande statistica F possibile si ottiene quando metà ˉ y i è a un estremo e l'altra metà è all'altra. Questo rappresenta il caso in cui F sembra il più significativo dato che due medie differiscono al massimo di 2 $\max_{i,j}|\bar y_i - \bar y_j| = 2a$$F$$\bar y_i$$F$$2a$ .

Quindi, senza perdita di generalità, supponiamo che modo che ˉ y i = ± a in questo caso limite. E ancora, senza perdita di generalità, supponiamo che M S E = 1 , poiché possiamo sempre riscalare i dati su questo valore. Ora considera k significa (dove k è anche per semplicità [ma vedi la nota 1 sotto]), abbiamo F = ∑ n ˉ y 2 / ( k - 1 $\bar y_.=0$$\bar y_i=\pm a$$MS_E=1$$k$$k$ . ImpostandopF=α inmodo cheF=Fα=Fα,k-1,k(n-1), otteniamoun=$F=\frac{\sum n\bar y^2/(k-1)}{MS_E}= \frac{kna^2}{k-1}$$p_F=\alpha$$F=F_\alpha=F_{\alpha,k-1,k(n-1)}$ . Quando tutto ilˉyisono±una(e ancoraMSE=1), ogni nonzerotstatistica è quindit=2$a =\sqrt{\frac{(k-1)F_\alpha}{kn}}$$\bar y_i$$\pm a$$MS_E=1$$t$ . Questo è ilvaloretmassimo più piccolopossibile quandoF=Fα.$t=\frac{2a}{1\sqrt{2/n}} = \sqrt{\frac{2(k-1)F_\alpha}{k}}$$t$$F=F_\alpha$

Così si può solo provare diversi casi di ed n , calcolare t , e la sua associata p t . Ma nota che per un dato k , F α sta diminuendo in n [ma vedi la nota 3 sotto]; inoltre, come n → ∞ , ( k - 1 ) F α , k - 1 , k ( n - 1 ) → χ 2 α , k - 1 ; così t $k$$n$$t$$p_t$$k$$F_\alpha$$n$$n\rightarrow\infty$$(k-1)F_{\alpha,k-1,k(n-1)} \rightarrow \chi^2_{\alpha,k-1}$$t \ge t_{min} =\sqrt{2\chi^2_{\alpha,k-1}/k}$$\chi^2/k=\frac{k-1}k \chi^2/(k-1)$$\frac{k-1}k$$\frac{k-1}k\cdot\sqrt{\frac2{k-1}}$$\lim_{k\rightarrow\infty}t_{min} = \sqrt{2}$, regardless of $\alpha$, and the result I stated in the first paragraph above is obtained from asymptotic normality.

It takes a long time to reach that limit, though. Here are the results (computed using R) for various values of $k$, using $\alpha=.05$:

k       t_min    max p_t   [ Really I mean min(max|t|) and max(min p_t)) ]
2       1.960     .0500
4       1.977     .0481   <--  note < .05 !
10      1.840     .0658
100     1.570     .1164
1000    1.465     .1428
10000   1.431     .1526

A few loose ends...

1. When k is odd: The maximum $F$ statistic still occurs when the $\bar y_i$ are all $\pm a$; however, we will have one more at one end of the range than the other, making the mean $\pm a/k$, and you can show that the factor $k$ in the $F$ statistic is replaced by $k-\frac 1k$. This also replaces the denominator of $t$, making it slightly larger and hence decreasing $p_t$.
2. Unequal $n$s: The maximum $F$ is still achieved with the $\bar y_i = \pm a$, with the signs arranged to balance the sample sizes as nearly equally as possible. Then the $F$ statistic for the same total sample size $N = \sum n_i$ will be the same or smaller than it is for balanced data. Moreover, the maximum $t$ statistic will be larger because it will be the one with the largest $n_i$. So we can't obtain larger $p_t$ values by looking at unbalanced cases.
3. A slight correction: I was so focused on trying to find the minimum $t$ that I overlooked the fact that we are trying to maximize $p_t$, and it is less obvious that a larger $t$ with fewer df won't be less significant than a smaller one with more df. However, I verified that this is the case by computing the values for $n=2,3,4,\ldots$ until the df are high enough to make little difference. For the case $\alpha=.05, k\ge 3$ I did not see any cases where the $p_t$ values did not increase with $n$. Note that the $df=k(n-1)$ so the possible df are $k,2k,3k,\ldots$ which get large fast when $k$ is large. So I'm still on safe ground with the claim above. I also tested $\alpha=.25$, and the only case I observed where the $.1573$ threshold was exceeded was $k=3,n=2$.