"Intenzione dello sperimentatore" e soglie / valori p

Sto leggendo le diapositive "Doing Bayesian Data Analysis" di John Kruschke , ma in realtà ho una domanda sulla sua interpretazione dei test t e / o sull'intero framework di test di significatività dell'ipotesi nulla. Sostiene che i valori di p sono mal definiti perché dipendono dalle intenzioni dell'investigatore.

In particolare, fornisce un esempio (pagine 3-6) di due laboratori che raccolgono set di dati identici confrontando due trattamenti. Un laboratorio si impegna a raccogliere dati da 12 soggetti (6 per condizione), mentre l'altro raccoglie dati per una durata fissa, che a sua volta produce anche 12 soggetti. Secondo le diapositive, il valore critico per differisce tra questi due schemi di raccolta dati: per il primo, ma per il secondo !p < 0,05 t crit = 2,33 t crit = $t$$p<0.05$$t_{\textrm{crit}}=2.33$$t_{\textrm{crit}}=2.45$

Un post sul blog - che ora non riesco a trovare - ha suggerito che lo scenario a durata fissa ha più gradi di libertà poiché avrebbero potuto raccogliere dati da 11, 13 o qualsiasi altro numero di argomenti, mentre lo scenario a N fisso, da definizione, ha .$N=12$

Qualcuno potrebbe spiegarmi:

• Perché il valore critico differirebbe tra queste condizioni?

• (Supponendo che sia un problema) Come si potrebbe fare per correggere / confrontare gli effetti di diversi criteri di arresto?

So che l'impostazione dei criteri di arresto in base alla significatività (ad esempio, campione fino a ) può gonfiare le possibilità di un errore di tipo I, ma ciò non sembra succedere qui, poiché nessuna delle due regole di arresto dipende dal risultato di le analisi.$p<0.05$

Ecco qualche informazione in più: http://doingbayesiandataanalysis.blogspot.com/2012/07/sampling-distributions-of-t-when.html

Una discussione più completa è fornita qui: http://www.indiana.edu/~kruschke/BEST/ Questo articolo considera i valori p per l'arresto alla soglia N, l'arresto alla durata della soglia e l'arresto alla soglia t.

Ho finalmente rintracciato il documento associato alle diapositive: Kruschke (2010) , disponibile anche direttamente dall'autore (tramite CiteSeerX) qui , poiché il diario non è ampiamente diffuso. La spiegazione è un po 'prosaica, ma non sono ancora sicuro di acquistarla.

Nel caso della N fissa, il valore critico viene calcolato come segue: i campioni vengono estratti casualmente dalla (stessa) popolazione e viene calcolato un valore . Questo processo viene ripetuto più volte per creare una distribuzione nulla. Infine, è impostato per essere il 95 ° percentile di quella distribuzione.2 N t t c r i $t$$2N$$t$$t_{crit}$

Per il caso a durata fissa, assume che i soggetti arrivino ad un tasso medio . La distribuzione nulla viene costruita ripetendo due passaggi. Nella prima fase, il numero di soggetti per ciascuna condizione e è tratto da una distribuzione di possesso con parametro . Successivamente, per calcolare un valore vengono utilizzati i sorteggi e casuali della popolazione . Questo si ripete molte volte e è impostato per essere il 95 ° percentile di quella distribuzione.N 1 N 2 λ N 1 N 2 t t c r i $\lambda$$N_1$$N_2$$\lambda$$N_1$$N_2$$t$$t_{crit}$

Questo mi sembra un po 'sfacciato ... A quanto ho capito, non esiste una sola distribuzione ; invece è una famiglia di distribuzioni, con una forma in parte determinata dal parametro gradi di libertà. Per la condizione fissa , ci sono soggetti per gruppo e il valore appropriato per un test t non accoppiato è quello con gradi di libertà, presumibilmente ciò che riproduce la sua simulazione. N N t 2 N - $t$$N$$N$$t$$2N-2$

t λ = N 2 N - N t ν = 1 ν = $t$$t$$\lambda=N$$2N-N$$t$$\nu=1$$\nu=5$$t$

In sintesi:

• $t_{crit}$
• $t$
• Non sono convinto che questo sia effettivamente un problema, ma sarei felice di leggere / votare / accettare le risposte se qualcuno la pensa diversamente.