Ha

18

Mi sono confuso cercando di capire se un valore $r$ -squared ha anche un valore $p$ .

A quanto mi risulta, in correlazione lineare con un insieme di punti di dati $r$ può avere un valore compreso tra $-1$ a $1$ e questo valore, qualunque essa sia, può avere un $p$ -value che mostra se $r$ è significativamente diverso da $0$ (cioè , se esiste una correlazione lineare tra le due variabili).

Passando alla regressione lineare, una funzione può essere montato ai dati, descritti dall'equazione $Y = a + bX$ . $a$ e $b$ (intercetta e pendenza) hanno anche $p$ -Valori visualizzare se sono significativamente diversi da $0$ .

Supponendo che finora ho capito tutto correttamente, il valore $p$ per $r$ il valore $p$ per $b$ sono la stessa cosa? È quindi corretto dire che non è $r$ -squared che ha un valore $p$ ma piuttosto $r$ o $b$ che lo fa?

statistical-significance p-value r-squared

— user1357
fonte

14

Oltre ai numerosi (corretti) commenti di altri utenti che sottolineano che il valore $p$ per $r^2$ è identico al valore $p$ per il test globale $F$ , si noti che è anche possibile ottenere il valore $p$ associato a $r^2$ " direttamente "usando il fatto che $r^2$ sotto l'ipotesi nulla è distribuito come $\textrm{Beta}(\frac{v_n}{2},\frac{v_d}{2})$ , dove $v_n$ e $v_d$ sono numeratore e denominatore gradi di libertà, rispettivamente, per gli associati $F$ statistica t.

Il terzo punto elenco nella sottosezione Derivati da altre distribuzioni della voce Wikipedia sulla distribuzione beta ci dice che:

Se $X \sim \chi^2(\alpha)$ e $Y \sim \chi^2(\beta)$ sono indipendenti, allora . $\frac{X}{X+Y} \sim \textrm{Beta}(\frac{\alpha}{2}, \frac{\beta}{2})$

Bene, possiamo scrivere in quella $r^2$ Modulo $\frac{X}{X+Y}$

Sia la somma totale dei quadrati per una variabile , sia la somma degli errori quadrati per una regressione di su alcune altre variabili e sia la "somma dei quadrati ridotti", ovvero . Quindi $SS_Y$ $Y$ $SS_E$ $Y$ $SS_R$ $SS_R=SS_Y-SS_E$ E naturalmente, essendo somme di quadrati,esono entrambi distribuiti comeconegradi di libertà, rispettivamente. Pertanto,

r^{2} = 1 - \frac{S S_{E}}{S S_{Y}} = \frac{S S_{Y} - S S_{E}}{S S_{Y}} = \frac{S S_{R}}{S S_{R} + S S_{E}}

$r^2=1-\frac{SS_E}{SS_Y}=\frac{SS_Y-SS_E}{SS_Y}=\frac{SS_R}{SS_R+SS_E}$

S S_{R}

$SS_R$

S S_{E}

$SS_E$

χ^{2}

$\chi^2$

v_{n}

$v_n$

v_{d}

$v_d$

(Certo, non ho dimostrato che i due chi-quadrati sono indipendenti. Forse un commentatore può dire qualcosa al riguardo.)

r^{2} \sim Beta (\frac{v_{n}}{2}, \frac{v_{d}}{2})

$r^2 \sim \textrm{Beta}(\frac{v_n}{2},\frac{v_d}{2})$

Dimostrazione in R (codice di prestito da @gung):

set.seed(111)
x = runif(20)
y = 5 + rnorm(20)
cor.test(x,y)

# Pearson's product-moment correlation
# 
# data:  x and y
# t = 1.151, df = 18, p-value = 0.2648
# alternative hypothesis: true correlation is not equal to 0
# 95 percent confidence interval:
#  -0.2043606  0.6312210
# sample estimates:
#       cor 
# 0.2618393 

summary(lm(y~x))

# Call:
#   lm(formula = y ~ x)
# 
# Residuals:
#     Min      1Q  Median      3Q     Max 
# -1.6399 -0.6246  0.1968  0.5168  2.0355 
# 
# Coefficients:
#             Estimate Std. Error t value Pr(>|t|)    
# (Intercept)   4.6077     0.4534  10.163 6.96e-09 ***
# x             1.1121     0.9662   1.151    0.265    
# ---
#   Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
# 
# Residual standard error: 1.061 on 18 degrees of freedom
# Multiple R-squared:  0.06856,  Adjusted R-squared:  0.01681 
# F-statistic: 1.325 on 1 and 18 DF,  p-value: 0.2648

1 - pbeta(0.06856, 1/2, 18/2)

# [1] 0.2647731

— Jake Westfall
fonte

6

Spero che questa quarta (!) Risposta chiarisca ulteriormente le cose.

Nella semplice regressione lineare, esistono tre test equivalenti:

test t per pendenza zero della popolazione della covariabile $X$
test t per correlazione zero della popolazione tra e risposta $X$ $Y$
F-test per R-quadrato a popolazione zero, cioè nulla della variabilità di può essere spiegato da differente . $Y$ $X$

Tutti e tre i test verificano l'associazione lineare tra e e, fortunatamente (!), Portano tutti allo stesso risultato. Le loro statistiche di test sono equivalenti. (I test 1 e 2 si basano sulla distribuzione Student con df che corrisponde alla distribuzione F campionaria del test 3, solo con statistica del test al quadrato). $X$ $Y$ $n-2$

Un rapido esempio in R:

# Input
set.seed(3)

n <- 100
X <- runif(n)
Y <- rnorm(n) + X

cor.test(~ X + Y) # For test 2 (correlation)

# Output (part)
# t = 3.1472, df = 98, p-value = 0.002184
# alternative hypothesis: true correlation is not equal to 0

# Input (for the other two tests)
fit <- lm(Y ~ X)
summary(fit)      

# Output (partial)
Coefficients:
            Estimate Std. Error t value Pr(>|t|)   
(Intercept) -0.03173    0.18214  -0.174  0.86204   
X            1.02051    0.32426   3.147  0.00218 **
---
Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1

Residual standard error: 0.9239 on 98 degrees of freedom
Multiple R-squared:  0.09179,   Adjusted R-squared:  0.08253 
F-statistic: 9.905 on 1 and 98 DF,  p-value: 0.002184

Come puoi vedere, i tre test producono lo stesso valore p di 0,00218. Si noti che il test 3 è quello nell'ultima riga dell'output.

Quindi il tuo test F per l'R-quadrato è molto frequente, anche se non molti statistici lo interpretano come un test per l'R-quadrato.

— Michael M
fonte

5

Mi sembra che tu abbia una buona comprensione per me. Potremmo ottenere un valore per , ma poiché è una funzione (non stocastica) di , il s sarebbe identico. $p$ $r^2$ $r$ $p$

— gung - Ripristina Monica
fonte

Io non la penso così. Connettendo l'inferenza su

e

all'inferenza su

e

da OLS,

è significativo se

è diverso da zero, indipendentemente da

. Tuttavia,

è significativo se

o

sono diversi da zero. Questo aiuta a visualizzare ciò che stanno valutando i rispettivi test.

ρ

$\rho$

r^{2}

$r^2$

α

$\alpha$

β

$\beta$

ρ

$\rho$

β

$\beta$

α

$\alpha$

r^{2}

$r^2$

α

$\alpha$

β

$\beta$

— AdamO,

1

@AdamO, non riesco a seguire l'argomento nel tuo commento. Simile al post di Michael Mayer di seguito, in R prova: set.seed(111); x = runif(20); y = 5 + rnorm(20); cor.test(x,y); summary(lm(y~x)). La p per r è .265. I p per b e per il test F globale sono identici, anche se p per a lo è 6.96e-09.

— gung - Ripristina Monica

Esattamente il mio punto.

è diverso da

e il loro valore

NON è identico.

può essere una funzione di

, ma non è nemmeno una funzione monotonica.

può essere significativo quando

non lo è. Cosa misura

? È l'errore standard residuo dopo aver tracciato la linea di tendenza OLS e aver calcolato i residui. Nel tuo esempio, la varianza residua sarà inferiore alla varianza

incondizionata ? Assolutamente.

r

$r$

r^{2}

$r^2$

p

$p$

r^{2}

$r^2$

r

$r$

r^{2}

$r^2$

r

$r$

r^{2}

$r^2$

Y

$Y$

r^{2}

$r^2$ è significativo quindi. È possibile calcolare le caratteristiche operative con bootstrap e anche la connessione tra ANOVA e minimi quadrati ordinari fa luce sulla questione.

— AdamO,

4

Puoi anche ottenere il valore

associato a

"direttamente" usando il fatto che

sotto l'ipotesi nulla è distribuito come

p

$p$

r^{2}

$r^2$

r^{2}

$r^2$

, dove

e

sono numeratore e denominatore gradi di libertà, rispettivamente, per gli associati

statistica t. (Vedi la terza identità qui:en.wikipedia.org/wiki/….) Quindi, usando i dati di esempio di @ gung, seentriamootteniamo.

B e t a (\frac{v_{n}}{2}, \frac{v_{d}}{2})

$Beta(\frac{v_n}{2},\frac{v_d}{2})$

v_{n}

$v_n$

v_{d}

$v_d$

F

$F$ R1 - pbeta(0.06856, 1/2, 18/2)0.2647731

— Jake Westfall,

4

@AdamO, ancora non capisco. Sono entrambi .265, come non sono identici?

— gung - Ripristina Monica

4

Esistono diversi modi per derivare la statistica test per i test della correlazione di Pearson, . Per ottenere un valore , vale la pena sottolineare che è necessario sia un test che una distribuzione campionaria di una statistica test sotto l'ipotesi nulla. Il titolo e la domanda sembrano avere una certa confusione tra la correlazione di Pearson e la "varianza spiegata" . Prenderò in considerazione prima il coefficiente di correlazione. $\rho$ $p$ $r^2$

Non esiste un modo "migliore" per testare la correlazione di Pearson di cui sono a conoscenza. La trasformazione Z di Fisher è in questo modo, basata su trasformazioni iperboliche, in modo che l'inferenza sia un po 'più efficiente. Questo è certamente un approccio "buono", ma la cosa triste è che l'inferenza per questo parametro è coerente con l'inferenza sul parametro di pendenza per associazione: raccontano la stessa storia a lungo termine. $\beta$

Il motivo per cui gli statistici sono (classicamente) interamente preferito prove di è perché facciamo abbiamo una prova "best": regressione lineare, che è lo stimatore BLU. Ai giorni delle statistiche moderne, non ci interessa davvero se un test è "il migliore", ma la regressione lineare ha molte altre fantastiche proprietà che giustificano il suo uso continuo per determinare l'associazione tra due variabili. In generale, la tua intuizione è giusta: sono essenzialmente la stessa cosa e focalizziamo la nostra attenzione su come misura più pratica di associazione. $\beta$ $\beta$

L' è funzione sia della pendenza e l'intercetta. Se uno di questi valori è diverso da zero, l' dovrebbe avere una distribuzione di campionamento riconoscibile rispetto a quella che ci si aspetterebbe se i parametri lineari fossero zero. Tuttavia, derivando distribuzioni di sotto il valore nullo e confrontandole con $r^2$ $r^2$ $r^2$ $r^2$ sotto alcune ipotesi alternative non mi dà molta fiducia che questo test abbia molto potere di rilevare ciò che vogliamo. Solo un istinto. Sempre rivolgendosi agli stimatori "migliori", OLS ci fornisce stime "migliori" sia della pendenza che dell'intercettazione, quindi abbiamo la certezza che il nostro test è almeno buono per determinare la stessa (se presente) associazione testando direttamente i parametri del modello . Per me, testare congiuntamente e con OLS è superiore a qualsiasi test su tranne in un raro caso di (forse) un'applicazione di calibrazione della modellazione predittiva non annidata ... ma BIC sarebbe probabilmente una misura migliore in quello scenario Comunque. $\alpha$ $\beta$ $r^2$

— ADAMO
fonte

1

"La

è una funzione sia della pendenza che dell'intercettazione." Forse mi manca qualcosa ma ... non è solo una funzione della pendenza? Forse potresti fornire una dimostrazione concreta?

r^{2}

$r^2$

— Jake Westfall,

Sicuro. Ricordiamo che se i dati osservati corrispondono perfettamente alla linea di tendenza, allora

esattamente. Considera i dati di "risposta piatta" senza variabilità ma con intercettazione diversa da zero, quindi tutte le tuple assumono la forma

per tutti

.

come indicato. Il coefficiente di determinazione funge da sommario ragionevole dell'abilità predittiva di un'equazione lineare e ottenere tali previsioni richiede sia una pendenza che un'intercetta.

r^{2} = 1

$r^2 = 1$

(x_{i}, β_{0})

$(x_i, \beta_0)$

i \in {1, 2, \dots n}

$i \in \{ 1, 2, \ldots n \}$

r^{2} = 1

$r^2 = 1$

— AdamO,

1

$p$ $r$ $r^2$ $r$ $r^2$ $p$

$p$ $b$ makes a lot of sense - that's what tells you whether the model has a linear relationship or not. If $b$ is statistically significantly different from $0$ then you conclude that there is a linear relationship between the variables. The $r$ or $r^2$ then tells you how well the model explains the variation in the data. If $r^2$ is low, then your independent variable isn't helping to explain very much about the dependent variable.

A $p$ -value for $a$ tells us if the intercept is statistically significantly different from $0$ or not. This is of varying usefulness, depending on the data. My favorite example: if you do a linear regression between gestation time and birth weight you might find an intercept of, say, 8 ounces that is statistically different from $0$ . However, since the intercept represents a gestation age of $0$ weeks, it doesn't really mean anything.

If anyone does regularly calculate $p$ -values for an $r^2$ I'd be interested in hearing about them.

— Duncan
fonte

4

Take a closer look at the output of your favorite regression command: it should report an

F

$F$ statistic and a p-value for it. That is also the p-value for the

R^{2}

$R^2$ , because

F

$F$ and

R^{2}

$R^2$ are directly and monotonically related. For ordinary regression with

n

$n$ data,

F = (n - 2) R^{2} / (1 - R^{2})

$F = (n-2)R^2/(1-R^2)$ . Its p-value will be the p-value for the slope. Therefore if you have ever used a p-value for

b

$b$ in ordinary regression, you have used a p-value for

R^{2}

$R^2$ .

— whuber

In practice it seems like people do not think in terms of the significance of r or r^2. What might be more useful is a confidence interval around them.

— N Brouwer