Se un test parametrico non rifiuta null, la sua alternativa non parametrica fa lo stesso?

12

Se si presume che i test non parametrici abbiano una potenza inferiore rispetto alle loro alternative parametriche, ciò implica che se un test parametrico non rifiuta null, allora anche la sua alternativa non parametrica non rifiuta null? Come può cambiare se i presupposti del test parametrico non sono soddisfatti e il test viene comunque utilizzato?

hypothesis-testing nonparametric parametric

— Miroslav Sabo
fonte

4

(a) se il test A ha una potenza inferiore rispetto al test B in alcune circostanze presunte, ciò non implica che i casi che A rifiuterà siano un sottoinsieme di quelli in B (in realtà ciò non è possibile a un livello di significatività fisso); rifiutano porzioni diverse (ma forse fortemente sovrapposte) dello spazio del campione - ci sono sempre casi in cui ciascuno rifiuterà che l'altro no. (b) Se le ipotesi del test parametrico non vengono soddisfatte (sono mai effettivamente soddisfatte?), i test parametrici possono avere un potere relativamente scarso (ad esempio t-test vs Mann-Whitney con code pesanti)

— Glen_b -Reinstate Monica

9

Se un test parametrico non rifiuta l'ipotesi nulla, il suo equivalente non parametrico può sicuramente rifiutare l'ipotesi nulla. Come ha detto @John, questo di solito si verifica quando vengono violate le ipotesi che giustificano l'uso del test parametrico. Ad esempio, se confrontiamo il test t a due campioni con il test somma di rango di Wilcoxon, possiamo ottenere che questa situazione si verifichi se includiamo valori anomali nei nostri dati (con valori anomali non dovremmo usare i due test campione).

#Test Data
x = c(-100,-100,rnorm(1000,0.5,1),100,100)
y = rnorm(1000,0.6,1)

#Two-Sample t-Test
t.test(x,y,var.equal=TRUE)

#Wilcoxon Rank Sum Test
wilcox.test(x,y)

I risultati dell'esecuzione del test:

> t.test(x,y,var.equal=TRUE)

    Two Sample t-test

data:  x and y 
t = -1.0178, df = 2002, p-value = 0.3089
alternative hypothesis: true difference in means is not equal to 0 
95 percent confidence interval:
 -0.6093287  0.1929563 
sample estimates:
mean of x mean of y 
0.4295556 0.6377417 

> 
> wilcox.test(x,y)

    Wilcoxon rank sum test with continuity correction

data:  x and y 
W = 443175, p-value = 5.578e-06
alternative hypothesis: true location shift is not equal to 0

9

No.

Mentre i test parametrici possono essere più potenti, non è sempre così. Quando non è così, di solito è in situazioni in cui non dovresti eseguire i test parametrici.

Tuttavia, anche se stai raccogliendo campioni di dimensioni decenti da distribuzioni normali con uguale varianza in cui il test parametrico ha una potenza maggiore, non garantisce che per un particolare esperimento un test parametrico non significativo significhi un test non parametrico non significativo. Ecco una simulazione che utilizza solo campionamenti casuali da distribuzioni normali e rileva che circa l'1,8% delle volte quando p> 0,05 per un test t che p <0,05 per un test Wilcoxon.

nsim <- 10000
n <- 50
cohensD <- 0.2
Y <- replicate(nsim, {
    y1 <- rnorm(n, 0, 1); y2 <- rnorm(n, cohensD, 1)
    tt <- t.test(y1, y2, var.equal = TRUE)
    wt <- wilcox.test(y1, y2)
    c(tt$p.value, wt$p.value)})
sum(Y[1,] > 0.05 & Y[2,] < 0.05) / nsim

Si può notare che, in questa simulazione, la potenza del test parametrico è maggiore del test non parametrico (sebbene siano simili).

sum(Y[1,] < 0.05) / nsim #t-test power
sum(Y[2,] < 0.05) / nsim #wilcox.test power

Ma, come mostrato sopra, ciò non significa che in tutti i casi in cui il test parametrico non riesce a trovare un effetto che fallisca anche il test non parametrico.

Puoi giocare con questa simulazione. Rendi n abbastanza grande, diciamo 1000, e riduci le dimensioni dell'effetto, diciamo 0,02 (hai bisogno di bassa potenza per avere molti campioni in cui il test fallisce). Potete essere praticamente garantiti con un n di 1000 che nessuno dei campioni verrebbe respinto per non normalità (mediante ispezione, non un test stupido) o con valori anomali sospetti. Tuttavia, alcuni dei test parametrici risultano non significativi mentre i test non parametrici sono significativi.

Potresti anche voler dare un'occhiata a Hunter & May (1993).

Hunter, MA, & May, RB (1993). Alcuni miti riguardanti test parametrici e non parametrici. Canadian Psychology, 34 (4), 384-389.

— John
fonte