Un intervallo di confidenza stretto attorno a un effetto non significativo può fornire prove del nulla?


9

È ovviamente fallace supporre che il fallimento nel rifiutare il null implichi che il null è vero. Ma in un caso in cui l'ipotesi nulla non viene rifiutata e il corrispondente intervallo di confidenza (CI) è stretta e centrata attorno 0, ciò non fornisce la prova per il nulla?

Ho due menti: sì, in pratica ciò fornirebbe la prova che l'effetto è più o meno 0. Tuttavia, in un rigoroso quadro di verifica delle ipotesi, sembra che gli effetti nulli siano semplicemente inutilizzabili per l'inferenza, così come i loro corrispondenti CI. Quindi, qual è il significato di un elemento della configurazione quando la sua stima puntuale non è significativa? È anche inutilizzabile per deduzione o può essere usato come nell'esempio precedente per quantificare l'evidenza per il null?

Le risposte con riferimenti accademici sono incoraggiate.


Probabilmente sarai interessato a test di equivalenza e domande sul sito che lo descrivono in dettaglio. Vedi Come testare l'ipotesi di nessuna differenza di gruppo? per un esempio.
Andy W,

1
Se intendi prove per un punto null contro l'alternativa di qualsiasi altra cosa ... allora, no. Il numero infinito infinito di alternative tra il valore molto piccolo osservato e il null sarà ancora più probabile del null. Se vuoi dire qualcos'altro, forse in alcune circostanze.
Glen_b -Restate Monica

Sì, allora si tratterebbe di test equivalenti, un termine di cui non avevo ancora sentito parlare.
ATJ,

Risposte:


6

In breve: sì.

Come ha scritto Andy W, concludere che il parametro è uguale a un valore specificato (nel tuo caso, la dimensione dell'effetto è uguale a zero), è una questione di test di equivalenza.

Nel tuo caso, questo stretto intervallo di confidenza può in effetti indicare che l'effetto è praticamente zero, il che significa che l'ipotesi nulla dell'equivalenza può essere respinta. Un'equivalenza significativa a -level è tipicamente mostrata da un normale intervallo di fiducia - che si trova completamente all'interno di un intervallo di equivalenza prespecificato. Questo intervallo di equivalenza tiene conto del fatto che si è in grado di trascurare deviazioni davvero minuscole, vale a dire che tutte le dimensioni degli effetti all'interno di questo intervallo di equivalenza possono essere considerate praticamente equivalenti. (Non sono possibili test statistici sull'uguaglianza.)1 - 2 α1α12α

Per ulteriori approfondimenti, consultare il libro "Testing Hypotheses Statistical of Equivalence and Noninferiority" di Stefan Wellek, il libro più completo sull'argomento.


2

Le ipotesi nulla esemplificano il significato di "Tutti i modelli sono sbagliati, ma alcuni sono utili". Sono probabilmente più utili se non presi alla lettera e fuori dal contesto - vale a dire, è importante ricordare lo scopo epistemico del nulla. Se può essere falsificato, che è l'obiettivo previsto, allora l'alternativa diventa più utile dal confronto, anche se ancora piuttosto disinformativa. Se rifiuti il ​​nulla, stai dicendo che l'effetto probabilmente non è zero (o qualsiasi altra cosa - le ipotesi null possono specificare anche altri valori per la falsificazione) ... allora che cos'è?

La dimensione dell'effetto che calcoli è la migliore stima puntuale del parametro di popolazione. In generale, le probabilità dovrebbero essere ugualmente buone per essere sopravvalutate o sottostimate, ma le possibilità che si tratti di un occhio di bue morto sono infinitesimali, come suggerisce il commento di @ Glen_b. Se per qualche bizzarro colpo di scena del destino (o per costruzione - in entrambi i casi, suppongo che stiamo parlando ipoteticamente?) La tua stima cade direttamente su , questa non è ancora la prova che il parametro non ha un valore diverso all'interno l'intervallo di confidenza. Il significato dell'intervallo di confidenza non cambia in base al significato di qualsiasi test di ipotesi, tranne nella misura in cui può cambiare posizione e larghezza in modo correlato.0.0¯

Nel caso in cui non si abbia familiarità con l'aspetto delle stime delle dimensioni dell'effetto per i campioni di una popolazione (simulata) di cui l'ipotesi nulla è letteralmente vera (o nel caso in cui non l'avessi ancora vista e sia qui solo per un po 'di intrattenimento statistico ), controlla di Geoff Cumming danza dei valorip . Nel caso in cui quegli intervalli di confidenza non siano abbastanza stretti per i tuoi gusti, ho provato a simulare alcuni dei miei in R usando campioni generati casualmente a meno di ciascuno da . Ho dimenticato di mettere un seme, ma ho impostato e poi ho corso tutte le volte che mi sono preoccupato prima di finire questa risposta, che alla fine mi ha dato 6000 campioni. Ecco un istogramma e un diagramma di densità usando eN ( 0 , 1 )n=1MN(0,1)x=c()x=append(x,replicate(500,cor(rnorm(999999),rnorm(999999))))hist(x,n=length(x)/100)plot(density(x)), rispettivamente:

    

Come ci si aspetterebbe, ci sono prove per una varietà di effetti diversi da zero derivanti da questi campioni casuali di una popolazione con effetto letteralmente zero, e queste stime sono distribuite più o meno normalmente attorno al parametro reale ( skew(x)= -.005, kurtosis(x)= 2.85). Immagina di conoscere solo il valore della tua stima da un campione di , non il vero parametro: perché dovresti aspettarti che il parametro sia più vicino allo zero della tua stima invece che ulteriore? Il tuo intervallo di confidenza potrebbe includere il valore nullo, ma il valore nullo non è in realtà più plausibile del valore della distanza equivalente dalla dimensione dell'effetto del campione nella direzione opposta, e altri valori potrebbero essere più plausibili di quello, in particolare la stima dei punti!n=1M

Se, in pratica, vuoi dimostrare che un effetto è più o meno zero, devi definire quanto più o meno sei incline a ignorare. Con questi enormi campioni che ho simulato, la stima della massima magnitudine che ho generato era . Con campioni più realistici di , il più grande che trovo tra campioni è . Ancora una volta, i residui sono normalmente distribuiti, quindi sono improbabili, ma il punto è che non sono plausibili.n = 999 1 M | r | = .14|r|=.004n=9991M|r|=.14

Un CI è probabilmente più utile per deduzione di un NHST in generale. Non rappresenta solo una cattiva idea che potrebbe essere supporre che il parametro sia trascurabilmente piccolo; rappresenta una buona idea di quale sia effettivamente il parametro. Si può ancora decidere se questo è trascurabile, ma si può anche avere un'idea di quanto non trascurabile possa essere. Per ulteriore sostegno agli intervalli di confidenza, vedere Cumming (2014 , 2013) .

Riferimenti
- Cumming, G. (2013). Comprensione delle nuove statistiche: dimensioni dell'effetto, intervalli di confidenza e meta-analisi . Routledge.
- Cumming, G. (2014). Le nuove statistiche: perché e come. Scienze psicologiche, 25 (7), 7–29. Estratto da http://pss.sagepub.com/content/25/1/7.full.pdf+html .


Grazie, conosco molto bene il lavoro di Cumming. Suppongo che la mia domanda era più lungo le linee di, "se il punto ES stima è significativa, allora il CI essere utilizzato per l'inferenza (o sono 'null' vale a dire, inutile come la stima puntuale)?"
ATJ

1
@ATJ: Né la stima puntuale né gli intervalli di confidenza ( ) per un parametro diventano "inutili" se non significativamente diversi da zero (a livello ) o contenenti zero rispettivamente. α1αα
Scortchi - Ripristina Monica

@ATJ: Come ho detto, il significato [/ utility] di un elemento della configurazione non cambia in base al significato di qualsiasi NHST. Un CI è probabilmente più utile per deduzione di un NHST in generale ... rappresenta una buona idea di quale sia effettivamente il parametro. Ad esempio, ho appena eseguito cor.test(rnorm(9999999),rnorm(9999999))e ottenuto un di . Pertanto deduco che quando lo eseguo di nuovo, ho il 95% di probabilità di ottenere una nuova stima all'interno di tale intervallo. Eseguendolo di nuovo, la mia stima era ; la mia deduzione basata su CI era giusta! Il nulla sembra essere per costruzione, ma le mie prove favorirebbero invece la mia stima ...r = 0.00029{0.00063,0.00060}r=0.00029
Nick Stauner,
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.