L'analisi del potere a priori è essenzialmente inutile?


23

La scorsa settimana ho partecipato a un incontro della Society for Personality and Social Psychology in cui ho visto un discorso di Uri Simonsohn con la premessa che l'uso di un'analisi di potenza a priori per determinare la dimensione del campione era essenzialmente inutile perché i suoi risultati sono così sensibili alle ipotesi.

Naturalmente, questa affermazione va contro ciò che mi è stato insegnato nella mia classe di metodi e contro le raccomandazioni di molti importanti metodologi (in particolare Cohen, 1992 ), quindi Uri ha presentato alcune prove relative alla sua affermazione. Ho tentato di ricreare alcune di queste prove di seguito.

Per semplicità, immaginiamo una situazione in cui hai due gruppi di osservazioni e indoviniamo che la dimensione dell'effetto (misurata dalla differenza media standardizzata) è . Un calcolo di potenza standard (fatto usando il pacchetto seguente) ti dirà che avrai bisogno di 128 osservazioni per ottenere l'80% di potenza con questo design..5Rpwr128

require(pwr)

size <- .5
# Note that the output from this function tells you the required observations per group
# rather than the total observations required
pwr.t.test(d = size, 
           sig.level = .05, 
           power = .80, 
           type = "two.sample", 
           alternative = "two.sided")

Di solito, tuttavia, le nostre ipotesi sulla dimensione prevista dell'effetto sono (almeno nelle scienze sociali, che è il mio campo di studio) proprio questo - ipotesi molto approssimative. Cosa succede se la nostra ipotesi sulla dimensione dell'effetto è un po 'fuori? Un rapido calcolo della potenza ti dice che se la dimensione dell'effetto è invece di .5 , hai bisogno di 200 osservazioni - 1,56 volte il numero di cui avresti bisogno per avere una potenza adeguata per una dimensione dell'effetto di .5 . Allo stesso modo, se la dimensione dell'effetto è .6 , hai bisogno solo di 90 osservazioni, il 70% di ciò di cui avresti bisogno per avere una potenza adeguata per rilevare una dimensione dell'effetto di .50.4.52001.56.5.690.50. In pratica, l'intervallo nelle osservazioni stimate è piuttosto ampio: da a 200 .90200

Una risposta a questo problema è che, invece di fare una pura ipotesi su quale potrebbe essere la dimensione dell'effetto, si raccolgono prove sulla dimensione dell'effetto, attraverso la letteratura passata o attraverso test pilota. Naturalmente, se stai facendo test pilota, vorresti che il tuo test pilota fosse sufficientemente piccolo da non eseguire semplicemente una versione del tuo studio solo per determinare la dimensione del campione necessaria per eseguire lo studio (cioè desidera che la dimensione del campione utilizzata nel test pilota sia inferiore alla dimensione del campione del tuo studio).

Uri Simonsohn ha sostenuto che i test pilota allo scopo di determinare la dimensione dell'effetto utilizzata nell'analisi della potenza sono inutili. Considera la seguente simulazione in cui mi sono imbattuto R. Questa simulazione presuppone che la dimensione dell'effetto popolazione sia di . Effettua quindi 1000 "test pilota" di dimensione 40 e tabula la N consigliata da ciascuno dei 10000 test pilota..51000N

set.seed(12415)

reps <- 1000
pop_size <- .5
pilot_n_per_group <- 20
ns <- numeric(length = reps)

for(i in 1:reps)
{
  x <- rep(c(-.5, .5), pilot_n_per_group)
  y <- pop_size * x + rnorm(pilot_n_per_group * 2, sd = 1)
  # Calculate the standardized mean difference
  size <- (mean(y[x == -.5]) - mean(y[x == .5])) / 
          sqrt((sd(y[x == -.5])^2 + sd(y[x ==.5])^2) / 2)

  n <- 2 * pwr.t.test(d = size,
                      sig.level = .05, 
                      power = .80,
                      type = "two.sample", 
                      alternative = "two.sided")$n

  ns[i] <- n
}

204500Ns1000

inserisci qui la descrizione dell'immagine

Certo, sono sicuro che la sensibilità al problema delle ipotesi peggiora solo quando il design di uno diventa più complicato. Ad esempio, in un disegno che richiede la specifica di una struttura di effetti casuali, la natura della struttura di effetti casuali avrà implicazioni drammatiche per la potenza del disegno.

Allora, cosa ne pensate tutti di questo argomento? L'analisi del potere a priori è essenzialmente inutile? Se lo è, allora come dovrebbero i ricercatori pianificare la dimensione dei loro studi?


10
Sembra una condanna dell'analisi insensata del potere, non dell'analisi del potere stesso. La domanda più grande è se questo è un attacco a un uomo di paglia o se effettivamente ci sono molte persone che conducono le loro analisi di potenza (o qualsiasi altra analisi) senza riguardo per la loro sensibilità alle ipotesi. Se quest'ultimo è vero, è bene illuminarli, ma spero che non si scoraggino tanto da abbandonare tutti gli sforzi per pianificare i loro esperimenti!
whuber

2
Mi ricorda un sacco di stats.stackexchange.com/q/2492/32036 , e non solo per la somiglianza sintattica nel formulare la domanda del titolo. Sembra una domanda su come comprendere le ipotesi. Un punto importante in entrambi è comprendere la sensibilità di queste analisi alla distorsione piuttosto che formulare giudizi radicali, tutto o niente che le loro ipotesi siano (a) assolutamente cruciali o (b) assolutamente trascurabili. Questa è la chiave per un'inferenza utile e non dannosa in generale. Temo che non sia un uomo di paglia; le persone pensano in assoluti troppo spesso quando non sanno o non possono sapere o preoccuparsene.
Nick Stauner,

5
Non volevo aggiungere questo alla domanda perché ero interessato alle raccomandazioni fatte da altri, ma la raccomandazione di Uri Simonsohn alla fine del discorso era quella di alimentare il tuo studio per rilevare l'effetto più piccolo che ti interesserebbe.
Patrick S. Forscher,

9
@ PatrickS.Forscher: Quindi, dopo che tutto è stato detto e fatto, crede in un'analisi del potere a priori. Pensa solo che la dimensione dell'effetto dovrebbe essere scelta con saggezza: non un'ipotesi su cosa potrebbe essere, ma piuttosto il valore minimo che ti interesserebbe. Sembra quasi la descrizione da manuale dell'analisi di potenza: assicurarsi di disporre di dati sufficienti per far sì che ciò che si ritiene sia una differenza praticamente significativa si presenti come una differenza statisticamente significativa.
Wayne,

2
Il modo in cui Uri ha inquadrato il discorso, penso che crede che l'analisi del potere a priori sia inutile come di solito viene fatto nelle scienze sociali, ma forse non come viene insegnato altrove. In effetti, mi è stato insegnato a basare la mia analisi di potenza su una ragionevole supposizione sulla dimensione dell'effetto che sto cercando, non su quale effetto mi interesserebbe in termini pratici.
Patrick S. Forscher,

Risposte:


20

Il problema di base qui è vero e abbastanza noto nelle statistiche. Tuttavia, la sua interpretazione / affermazione è estrema. Vi sono diverse questioni da discutere:

NNN50%80%ddd=.5N=1287.9%5.5%.116.9%.112.6%

inserisci qui la descrizione dell'immagine

d

80%

In secondo luogo, per quanto riguarda l'affermazione più ampia secondo cui le analisi di potere (a priori o di altro tipo) si basano su ipotesi, non è chiaro che cosa fare di tale argomento. Certo che lo fanno. Così fa tutto il resto. Non eseguire un'analisi di potenza, ma solo la raccolta di una quantità di dati basata su un numero estratto da un cappello, e quindi l'analisi dei dati, non migliorerà la situazione. Inoltre, le analisi risultanti si baseranno comunque su ipotesi, proprio come fanno sempre tutte le analisi (potenza o altro). Se invece decidi che continuerai a raccogliere dati e ad analizzarli nuovamente fino a quando non avrai un'immagine che ti piace o ti stanchi, ciò sarà molto meno valido (e comporterà comunque ipotesi che potrebbero essere invisibili all'oratore, ma che esistono comunque). In poche parole,non c'è modo di aggirare il fatto che si stanno formando ipotesi nella ricerca e nell'analisi dei dati .

È possibile trovare queste risorse di interesse:


1
Penso che l'argomentazione di Uri Simonsohn non fosse che le ipotesi di per sé sono cattive, ma che le analisi di potenza in generale sono così sensibili alle ipotesi da renderle inutili per la pianificazione delle dimensioni dei campioni. Tuttavia, i tuoi punti sono eccellenti, così come i riferimenti che hai fornito (+1).
Patrick S. Forscher,

Le tue modifiche continuano a migliorare questa risposta già eccellente. :)
Patrick S. Forscher,

3
Sono d'accordo che questa è un'ottima risposta e volevo solo far sapere a te (e agli altri) che ti ho citato in un recente post sul blog che ho scritto su questo argomento: jakewestfall.org/blog/index.php/2015/06/ 16 /…
Jake Westfall,

2
@JakeWestfall, bel post! In una nota diversa, quando studi i cookie, lo fai principalmente mangiandoli? Hai bisogno di un consulente statistico su uno di questi progetti?
gung - Ripristina Monica
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.