Perché il prodotto dei coefficienti di regressione bivariata della linea on- linea -on- è uguale al quadrato della correlazione?

11

C'è un modello di regressione in cui $Y = a + bX$ con $a = 1.6$ e $b=0.4$ , che ha un coefficiente di correlazione di $r = 0.60302$ .

Se poi $X$ e $Y$ vengono e l'equazione diventa $X = c + dY$ dove $c=0.4545$ e $d=0.9091$ , ha anche un valore $r$ di $0.60302$ .

Spero che qualcuno possa spiegare perché $(d\times b)^{0.5}$ è anche $0.60302$ .

correlation regression-coefficients

— Mike
fonte

17

$b = r \; \text{SD}_y / \text{SD}_x$ e , quindi . $d = r \; \text{SD}_x / \text{SD}_y$ $b\times d = r^2$

Molti libri di testo statistici toccherebbero questo; Mi piace Freedman et al., Statistica . Vedi anche qui e in questo articolo di Wikipedia .

— Karl
fonte

10

Dai un'occhiata a Tredici modi per esaminare il coefficiente di correlazione - e in particolare i modi 3, 4, 5 saranno di tuo interesse.

Rodgers, JL e Nicewander, WA (1988). Tredici modi per esaminare il coefficiente di correlazione . The American Statistician, 42, 1 , pagg. 59-66.

— Curioso
fonte

2

Questo avrebbe probabilmente dovuto essere un commento. Si noti che il collegamento è morto. Ho aggiornato il link e fornito una citazione completa. Puoi elaborare o fornire ulteriori informazioni in modo che ciò sia ancora prezioso anche se il link dovesse tornare a mancare?

— gung - Ripristina Monica

2

L'articolo di Rodgers & Nicewander è sintetizzato sul nostro sito all'indirizzo stats.stackexchange.com/q/70969/22228 .

— whuber

3

$\DeclareMathOperator{\Cov}{Cov}$ $\DeclareMathOperator{\Corr}{Corr}$ $\DeclareMathOperator{\SD}{SD}$ $\DeclareMathOperator{\Var}{Var}$ $\DeclareMathOperator{\sgn}{sgn}$ $\DeclareMathOperator{\nsum}{\sum_{i=1}^{n}}$

Ricordiamo che molti testi introduttivi definiscono

S_{x y} = \sum_{i = 1}^{n} (x_{i} - \bar{x}) (y_{i} - \bar{y})

$S_{xy} = \nsum (x_i - \bar x)(y_i - \bar y)$

Quindi impostando come abbiamo e similmente . $y$ $x$ $S_{xx} = \nsum (x_i - \bar x)^2$ $S_{yy} = \nsum (y_i - \bar y)^2$

Formule per il coefficiente di correlazione , la pendenza della -on- regressione (vostro ) e la pendenza della -on- regressione (proprio ) sono spesso indicati come: $r$ $y$ $x$ $b$ $x$ $y$ $d$

\begin{aligned} (1) & r & = \frac{S_{x y}}{\sqrt{S_{x x} S_{y y}}} \\ (2) & {\hat{β}}_{y on x} & = \frac{S_{x y}}{S_{x x}} \\ (3) & {\hat{β}}_{x on y} & = \frac{S_{x y}}{S_{y y}} \end{aligned}

$\begin{align} r &= \frac{S_{xy}}{\sqrt{S_{xx}S_{yy}}} \tag{1} \\ \hat \beta_{y\text{ on }x} &= \frac{S_{xy}}{S_{xx}} \tag{2} \\ \hat \beta_{x\text{ on }y} &= \frac{S_{xy}}{S_{yy}} \tag{3} \end{align}$

Quindi moltiplicando e si ottiene chiaramente il quadrato di : $(2)$ $(3)$ $(1)$

{\hat{β}}_{y on x} \cdot {\hat{β}}_{x on y} = \frac{S_{x y}^{2}}{S_{x x} S_{y y}} = r^{2}

$\hat \beta_{y\text{ on }x} \cdot \hat \beta_{x\text{ on }y} = \frac{S_{xy}^2}{S_{xx}S_{yy}} = r^2$

In alternativa, i numeratori e i denominatori delle frazioni in , e sono spesso divisi per o modo che le cose siano inquadrate in termini di varianze e covarianze del campione o stimate. Ad esempio, da , il coefficiente di correlazione stimato è solo la covarianza stimata, ridimensionata in base alle deviazioni standard stimate: $(1)$ $(2)$ $(3)$ $n$ $(n-1)$ $(1)$

\begin{aligned} (4) & r & = \hat{Corr} (X, Y) = \frac{\hat{Cov} (X, Y)}{\hat{SD (X)} \hat{SD (Y)}} \\ (5) & {\hat{β}}_{y on x} & = \frac{\hat{Cov} (X, Y)}{\hat{Var (X)}} \\ (6) & {\hat{β}}_{x on y} & = \frac{\hat{Cov} (X, Y)}{\hat{Var (Y)}} \end{aligned}

$\begin{align} r &= \widehat \Corr(X,Y) = \frac{\widehat \Cov(X,Y)}{\widehat{\SD(X)}\widehat{\SD(Y)}} \tag{4} \\ \hat \beta_{y\text{ on }x} &= \frac{\widehat \Cov(X,Y)}{\widehat{\Var(X)}} \tag{5} \\ \hat \beta_{x\text{ on }y} &= \frac{\widehat \Cov(X,Y)}{\widehat{\Var(Y)}} \tag{6} \end{align}$

Scopriamo quindi immediatamente moltiplicando e quello $(5)$ $(6)$

{\hat{β}}_{y on x} {\hat{β}}_{x on y} = \frac{\hat{Cov} (X, Y)^{2}}{\hat{Var (X)} \hat{Var (Y)}} = {(\frac{\hat{Cov} (X, Y)}{\hat{SD (X)} \hat{SD (Y)}})}^{2} = r^{2}

$\hat \beta_{y\text{ on }x} \hat \beta_{x\text{ on }y} = \frac{\widehat \Cov(X,Y)^2}{\widehat{\Var(X)}\widehat{\Var(Y)}} = \left( \frac{\widehat \Cov(X,Y)}{\widehat{\SD(X)}\widehat{\SD(Y)}} \right)^2 = r^2$

Potremmo invece aver riorganizzato per scrivere la covarianza come una correlazione "ingrandita": $(4)$

\begin{matrix} (7) & \hat{Cov} (X, Y) = r \cdot \hat{SD (X)} \hat{SD (Y)} \end{matrix}

$\widehat \Cov(X,Y) = r\cdot \widehat{\SD(X)} \widehat{\SD(Y)} \tag{7}$

Quindi sostituendo in e potremmo riscrivere i coefficienti di regressione come e . Moltiplicarli insieme produrrebbe anche , e questa è la soluzione di @ Karl. Scrivere le pendenze in questo modo aiuta a spiegare come possiamo vedere il coefficiente di correlazione come una pendenza di regressione standardizzata . $(7)$ $(5)$ $(6)$ $\hat \beta_{y\text{ on }x} = r \frac{\widehat \SD(y)}{\widehat \SD(x)}$ $\hat \beta_{x\text{ on }y} = r \frac{\widehat \SD(x)}{\widehat \SD(y)}$ $r^2$

Infine, nota che nel tuo caso ma questo perché la tua correlazione è stato positivo. Se la tua correlazione fosse negativa, allora dovresti prendere la radice negativa. $r = \sqrt{bd} =\sqrt{\hat \beta_{y\text{ on }x} \hat \beta_{x\text{ on }y}}$

Per capire se la tua correlazione è positiva o negativa, devi semplicemente considerare il segno (più o meno) del tuo coefficiente di regressione - non importa se guardi -on-0 o -on- poiché i loro segni saranno gli stessi. Quindi puoi usare la formula: $y$ $x$ $x$ $y$

r = sgn ({\hat{β}}_{y on x}) \sqrt{{\hat{β}}_{y on x} {\hat{β}}_{x on y}}

$r = \sgn(\hat \beta_{y\text{ on }x}) \sqrt{\hat \beta_{y\text{ on }x} \hat \beta_{x\text{ on }y}}$

dove è la funzione signum , cioè è se la pendenza è positiva e se la pendenza è negativa. $\sgn$ $+1$ $-1$

— pesciolino d'argento
fonte

1

È possibile che questa mia risposta sia di interesse anche se non risponde esplicitamente alla domanda posta qui.

— Dilip Sarwate,