Relazione tra intervallo di confidenza e verifica dell'ipotesi statistica per il test t

È noto che gli intervalli di confidenza e la verifica delle ipotesi statistiche sono fortemente correlati. Le mie domande si concentrano sul confronto delle medie per due gruppi basato su una variabile numerica. Supponiamo che tale ipotesi sia verificata usando t-test. Dall'altro lato, si possono calcolare intervalli di confidenza per mezzo di entrambi i gruppi. Esiste una relazione tra la sovrapposizione degli intervalli di confidenza e il rifiuto dell'ipotesi nulla che i mezzi siano uguali (a favore dell'alternativa che significa diverso - test bilaterale)? Ad esempio, un test potrebbe rifiutare l'ipotesi nulla se gli intervalli di confidenza non si sovrappongono.

Sì, ci sono alcune semplici relazioni tra confronti dell'intervallo di confidenza e test di ipotesi in una vasta gamma di impostazioni pratiche. Tuttavia, oltre a verificare che le procedure CI e il test t siano appropriati per i nostri dati, dobbiamo verificare che le dimensioni del campione non siano troppo diverse e che i due set abbiano deviazioni standard simili. Inoltre, non dovremmo cercare di derivare valori p altamente precisi dal confronto tra due intervalli di confidenza, ma dovremmo essere lieti di sviluppare approssimazioni efficaci.

Nel tentativo di conciliare le due risposte già fornite (da @John e @Brett), aiuta ad essere matematicamente esplicito. È una formula per un intervallo di confidenza bilaterale simmetrico appropriato per l'impostazione di questa domanda

$$\text{CI} = m \pm \frac{t_\alpha(n) s}{\sqrt{n}}$$

dove è la media campionaria di osservazioni indipendenti, è la deviazione standard del campione, è la dimensione del test desiderata (tasso massimo di falsi positivi) e è il percentile superiore del Distribuzione student t con gradi di libertà . (Questa leggera deviazione dalla notazione convenzionale semplifica l'esposizione eliminando qualsiasi necessità di agitarsi sulla distinzione vs , che sarà comunque insignificante.)$m$$n$$s$$2\alpha$$t_\alpha(n)$$1-\alpha$$n-1$$n$ n - 1 $n-1$

Utilizzando pedici e per distinguere due serie indipendenti di dati per il confronto, con corrispondente al maggiore dei due mezzi, un non -overlap di intervalli di confidenza è espressa dalla disuguaglianza (limite di confidenza inferiore 1) (limite di confidenza superiore 2); cioè. ,$1$$2$$1$>$\gt$

$$m_1 - \frac{t_\alpha(n_1) s_1}{\sqrt{n_1}} \gt m_2 + \frac{t_\alpha(n_2) s_2}{\sqrt{n_2}}.$$

Questo può essere fatto assomigliare alla statistica t del corrispondente test di ipotesi (per confrontare i due mezzi) con semplici manipolazioni algebriche, cedendo

$$\frac{m_1-m_2}{\sqrt{s_1^2/n_1 + s_2^2/n_2}} \gt \frac{s_1\sqrt{n_2}t_\alpha(n_1) + s_2\sqrt{n_1}t_\alpha(n_2)}{\sqrt{n_1 s_2^2 + n_2 s_1^2}}.$$

Il lato sinistro è la statistica utilizzata nel test di ipotesi; di solito viene confrontato con un percentile di una distribuzione t di Student con gradi di libertà: cioè a . Il lato destro è una media ponderata distorta dei percentili di distribuzione t originali.$n_1+n_2$$t_\alpha(n_1+n_2)$

L'analisi finora giustifica la risposta di @Brett: sembra che non ci siano relazioni semplici disponibili. Tuttavia, esaminiamo ulteriormente. Sono ispirato a farlo perché, intuitivamente, una non sovrapposizione di intervalli di confidenza dovrebbe dire qualcosa!

Innanzitutto, nota che questa forma del test di ipotesi è valida solo quando prevediamo che e saranno almeno approssimativamente uguali. (Altrimenti affrontiamo il famigerato problema di Behrens-Fisher e le sue complessità.) Controllando l'uguaglianza approssimativa di , potremmo quindi creare una semplificazione approssimativa nella forma$s_1$$s_2$s i$s_i$

$$\frac{m_1-m_2}{s\sqrt{1/n_1 + 1/n_2}} \gt \frac{\sqrt{n_2}t_\alpha(n_1) + \sqrt{n_1}t_\alpha(n_2)}{\sqrt{n_1 + n_2}}.$$

Qui, . Realisticamente, non dovremmo aspettarci che questo confronto informale dei limiti di confidenza abbia le stesse dimensioni di . La nostra domanda allora è se esiste un tale che il lato destro sia (almeno approssimativamente) uguale alla statistica t corretta. Vale a dire, per quello che è il caso che$s \approx s_1 \approx s_2$$\alpha$$\alpha'$$\alpha'$

$$t_{\alpha'}(n_1+n_2) = \frac{\sqrt{n_2}t_\alpha(n_1) + \sqrt{n_1}t_\alpha(n_2)}{\sqrt{n_1 + n_2}}\text{?}$$

Si scopre che a parità di dimensioni del campione, e sono collegati (con una precisione piuttosto elevata) da una legge di potenza. $\alpha$$\alpha'$ Ad esempio, ecco un diagramma dei due registri per i casi (linea blu più bassa), (linea rossa centrale), (linea d'oro più alta). La linea tratteggiata verde centrale è un'approssimazione descritta di seguito. La rettilineità di queste curve smentisce una legge di potere. Varia con , ma non molto.$n_1=n_2=2$$n_1=n_2=5$$n_1=n_2=\infty$$n=n_1=n_2$

La risposta dipende dal set , ma è naturale chiedersi quanto varia davvero con i cambiamenti nelle dimensioni del campione. In particolare, potremmo sperare che per dimensioni del campione da moderate a grandi (forse o successive) le dimensioni del campione fanno poca differenza. In questo caso, potremmo sviluppare un modo quantitativo per mettere in relazione con .$\{n_1, n_2\}$$n_1 \ge 10, n_2 \ge 10$α ′ α$\alpha'$$\alpha$

Questo approccio risulta funzionare a condizione che le dimensioni del campione non siano troppo diverse tra loro. Nello spirito della semplicità, riferirò una formula omnibus per calcolare la dimensione del test corrispondente alla dimensione dell'intervallo di confidenza . È$\alpha'$$\alpha$

$$\alpha' \approx e \alpha^{1.91};$$

questo è,

$$\alpha' \approx \exp(1 + 1.91\log(\alpha)).$$

Questa formula funziona abbastanza bene in queste situazioni comuni:

• Entrambe le dimensioni del campione sono vicine tra loro, e non è troppo estremo ( o giù di lì).$n_1 \approx n_2$$\alpha$$\alpha \gt .001$

• Una dimensione del campione è circa tre volte l'altra e la più piccola non è troppo piccola (approssimativamente, maggiore di ) e di nuovo non è troppo estrema.$10$$\alpha$

• Una dimensione del campione è entro tre volte l'altra e o giù di lì.$\alpha \gt .02$

Qui viene tracciato l'errore relativo (valore corretto diviso per l'approssimazione) nella prima situazione, con la riga inferiore (blu) che mostra il caso , la riga centrale (rossa) il caso e la riga superiore (in oro) il caso . Interpolando tra questi due ultimi, vediamo che l'approssimazione è eccellente per una vasta gamma di valori pratici di quando le dimensioni del campione sono moderate (circa 5-50) e altrimenti sono ragionevolmente buone.$n_1=n_2=2$$n_1=n_2=5$$n_1=n_2=\infty$$\alpha$

Questo è più che sufficiente per osservare un sacco di intervalli di confidenza.

Riassumendo, il fallimento di due intervalli di confidenza di dimensioni dei mezzi per sovrapporsi è una prova significativa di una differenza nelle medie a un livello pari a , a condizione che i due campioni abbiano deviazioni standard approssimativamente uguali e siano approssimativamente della stessa dimensione.$2\alpha$$2e \alpha^{1.91}$

Concluderò con una tabulazione dell'approssimazione per i valori comuni di .$2\alpha$

$2\alpha$ $2\alpha'$
0.1 0.02

0,05 0,005

0,01 0,0002

0,005 0,00006

Ad esempio, quando una coppia di IC al 95% su due lati ( ) per campioni di dimensioni approssimativamente uguali non si sovrappone, dovremmo prendere i mezzi per essere significativamente diversi, . Il valore p corretto (per uguali dimensioni del campione ) è compreso tra ( ) e ( ).$2\alpha=.05$$p \lt .005$$n$$.0037$$n=2$$.0056$$n=\infty$

Questo risultato giustifica (e spero migliora) la risposta di @John. Pertanto, anche se le risposte precedenti sembrano essere in conflitto, entrambe sono (a modo loro) corrette.

No, almeno non semplice.

Vi è, tuttavia, una corrispondenza esatta tra il test t della differenza tra due mezzi e l'intervallo di confidenza per la differenza tra i due mezzi.

Se l'intervallo di confidenza per la differenza tra due mezzi contiene zero, un test t per quella differenza non respingerebbe null allo stesso livello di confidenza. Allo stesso modo se l'intervallo di confidenza non contiene 0, il test t respingerebbe il valore nullo.

Ciò non equivale alla sovrapposizione tra intervalli di confidenza per ciascuno dei due mezzi.

Sotto ipotesi tipiche di uguale varianza, sì, c'è una relazione. Se le barre si sovrappongono di meno della lunghezza di una barra * sqrt (2), un test t le troverebbe significativamente diverse in alpha = 0,05. Se le estremità delle barre si toccano appena, allora una differenza sarebbe trovata a 0,01. Se gli intervalli di confidenza per i gruppi non sono uguali, in genere si prende la media e si applica la stessa regola.

In alternativa, se la larghezza di un intervallo di confidenza attorno a una delle medie è w, la differenza meno significativa tra due valori è w * sqrt (2). Questo è semplice quando si pensa al denominatore nei gruppi indipendenti t-test, sqrt (2 * MSE / n) e al fattore per l'elemento della configurazione che, sqrt (MSE / n).

(Ipotesi IC 95%)

C'è un semplice documento su come fare inferenze da intervalli di confidenza intorno a mezzi indipendenti qui . Risponderà a questa domanda ea molte altre relative che potresti avere.

Cumming, G., & Finch, S. (2005, marzo). Inferenza ad occhio: intervalli di confidenza e come leggere immagini di dati. Psicologo americano , 60 (2), 170-180.