Esempio di forte coefficiente di correlazione con un alto valore p

Mi chiedevo, è possibile avere un coefficiente di correlazione molto forte (diciamo .9 o superiore), con un valore di p elevato (diciamo .25 o superiore)?

Ecco un esempio di un basso coefficiente di correlazione, con un valore p elevato:

set.seed(10)
y <- rnorm(100)
x <- rnorm(100)+.1*y
cor.test(x,y)

cor = 0,03908927, p = 0,6994

Alto coefficiente di correlazione, basso valore p:

y <- rnorm(100)
x <- rnorm(100)+2*y
cor.test(x,y)

cor = 0,8807809, p = 2,2e-16

Basso coefficiente di correlazione, basso valore p:

y <- rnorm(100000)
x <- rnorm(100000)+.1*y
cor.test(x,y)

cor = 0.1035018, p = 2.2e-16

Alto coefficiente di correlazione, alto valore p: ???

La linea di fondo

Il coefficiente di correlazione del campione necessario per respingere l'ipotesi che il vero coefficiente di correlazione (Pearson) sia zero diventa piccolo abbastanza velocemente all'aumentare della dimensione del campione. Quindi, in generale, no, non si può avere contemporaneamente una grande (grandezza) coefficiente di correlazione e allo stesso tempo grande -valore$p$ .

The Top Line (Dettagli)

Il test utilizzato per il coefficiente di correlazione di Pearson nella funzione è una versione leggermente modificata del metodo che discuterò di seguito.$R$cor.test

Supponiamo che siano vettori casuali normali bivariati con correlazione ρ . Vogliamo testare l'ipotesi nulla che ρ = 0 contro ρ ≠ 0 . Sia r il coefficiente di correlazione del campione. Utilizzando la teoria della regressione lineare standard, non è difficile dimostrare che la statistica del test, T = r $(X_1,Y_1), (X_2,Y_2),\ldots,(X_n,Y_n)$$\rho$$\rho = 0$$\rho \neq 0$$r$ ha una distribuzionetn-2sotto l'ipotesi nulla. Perngrandi, la distribuzionetn-2 siavvicina allo standard normale. QuindiT2è approssimativamente distribuito al chi quadrato con un grado di libertà. (Sotto le ipotesi che abbiamo fatto,T2∼F1,n-2in realtà, ma l'approssimazioneχ21rende più chiaro quello che sta succedendo, penso.)

$$T = \frac{r \sqrt{n-2}}{\sqrt{(1-r^2)}}$$ $t_{n-2}$$n$$t_{n-2}$$T^2$$T^2 \sim F_{1,n-2}$$\chi^2_1$

Quindi, dove q 1 - α è ilquantile ( 1 - α ) di una distribuzione chi-quadrato con un grado di libertà.

$$\mathbb P\left(\frac{r^2}{1-r^2} (n-2) \geq q_{1-\alpha} \right) \approx \alpha \>,$$ $q_{1-\alpha}$$(1-\alpha)$

Ora, nota che aumenta all'aumentare di r 2 . Riorganizzando la quantità nella dichiarazione di probabilità, abbiamo quella per tutti | r | ≥ $r^2/(1-r^2)$$r^2$ otterremo un rifiuto dell'ipotesi nulla a livelloα. Chiaramente il lato destro diminuisce conn.

$$|r| \geq \frac{1}{\sqrt{1+(n-2)/q_{1-\alpha}}}$$ $\alpha$$n$

Una trama

Ecco un diagramma della regione di rifiuto di in funzione della dimensione del campione. Quindi, ad esempio, quando la dimensione del campione supera 100, la correlazione (assoluta) deve essere solo di circa 0,2 per rifiutare il valore nullo a livello α = 0,05 .$|r|$$\alpha = 0.05$

Una simulazione

Possiamo fare una semplice simulazione per generare una coppia di vettori a media zero con un coefficiente di correlazione esatto . Di seguito è riportato il codice. Da questo possiamo vedere l'output di cor.test.

k <- 100
n <- 4*k

# Correlation that gives an approximate p-value of 0.05
# Change 0.05 to some other desired p-value to get a different curve
pval <- 0.05
qval <- qchisq(pval,1,lower.tail=F)
rho  <- 1/sqrt(1+(n-2)/qval)

# Zero-mean orthogonal basis vectors
b1 <- rep(c(1,-1),n/2)
b2 <- rep(c(1,1,-1,-1),n/4)

# Construct x and y vectors with mean zero and an empirical
# correlation of *exactly* rho
x <- b1
y <- rho * b1 + sqrt(1-rho^2) * b2

# Do test
ctst <- cor.test(x,y)

Come richiesto nei commenti, ecco il codice per riprodurre il grafico, che può essere eseguito immediatamente seguendo il codice sopra (e utilizza alcune delle variabili ivi definite).

png("cortest.png", height=600, width=600)
m  <- 3:1000
yy <- 1/sqrt(1+(m-2)/qval)
plot(m, yy, type="l", lwd=3, ylim=c(0,1),
     xlab="sample size", ylab="correlation")
polygon( c(m[1],m,rev(m)[1]), c(1,yy,1), col="lightblue2", border=NA)
lines(m,yy,lwd=2)
text(500, 0.5, "p < 0.05", cex=1.5 )
dev.off()

cor.test(c(1,2,3),c(1,2,2))

cor = 0,866, p = 0,333

Una stima elevata del coefficiente di correlazione con un valore p elevato potrebbe verificarsi solo con una dimensione del campione molto piccola. Stavo per fornire un'illustrazione, ma Aaron l'ha appena fatto!

$1 / \sqrt{n-3}$$\hat{\rho} > 0$$p$

$$p = 2 - 2 \Phi\left(\operatorname{atanh}(\hat{\rho})\sqrt{n-3}\right),$$ $\Phi$$H_0: \rho = 0$

$n$$\hat{\rho}$$p$

 #get n for sample correlation and p-value, 2-sided test of 0 correlation
 n.size <- function(rho.hat,p.val) {
   n <- 3 + ((qnorm(1 - 0.5 * p.val)) / atanh(rho.hat))^2
 }

$\hat{\rho} = 0.5$$p = 0.2$

print(n.size(0.5,0.2))

[1] 8.443062

$n, p$$\hat{\rho}$.

Sì. Un valore p dipende dalla dimensione del campione, quindi un piccolo campione può dare questo.

Supponiamo che la dimensione dell'effetto reale sia molto piccola e si disegna un piccolo campione. Per fortuna, ottieni alcuni punti dati con correlazione molto alta. Il valore p sarà alto, come dovrebbe essere. La correlazione è alta ma non è un risultato molto affidabile.

La correlazione del campione da R (cor) ti dirà la migliore stima della correlazione (dato il campione). Il valore p NON misura la forza della correlazione. Misura la probabilità che si sia verificata nel caso in cui non ci fosse effettivamente alcun effetto, considerando la dimensione del campione.

Un altro modo per vedere questo: se hai la stessa dimensione di effetto, ma ottieni più campioni, il valore p va sempre a zero.

(Se si desidera integrare più da vicino le nozioni di dimensione dell'effetto stimata e fiducia sulla stima, potrebbe essere meglio usare gli intervalli di confidenza; oppure, utilizzare le tecniche bayesiane.)