Esiste un modo elegante / perspicace per comprendere questa identità di regressione lineare per multiplo ?

Nella regressione lineare mi sono imbattuto in un risultato delizioso che se si adatta al modello

E [Y] = β_{1} X_{1} + β_{2} X_{2} + c,

$E[Y] = \beta_1 X_1 + \beta_2 X_2 + c,$

quindi, se standardizziamo e dati $Y$ , $X_1$ e $X_2$ ,

R^{2} = C o r (Y, X_{1}) β_{1} + C o r (Y, X_{2}) β_{2} .

$R^2 = \mathrm{Cor}(Y,X_1) \beta_1 + \mathrm{Cor}(Y, X_2) \beta_2.$

Mi sembra una versione a 2 variabili di $R^2 = \mathrm{Cor}(Y,X)^2$ per la regressione $y=mx+c$ , il che è gradito.

Ma l'unica prova che conosco non è in alcun modo costruttiva o perspicace (vedi sotto), eppure a guardarla sembra che dovrebbe essere facilmente comprensibile.

Pensieri di esempio:

I $\beta_1$ e $\beta_2$ ci danno la "proporzione" di $X_1$ e $X_2$ in $Y$ , e quindi stiamo prendendo le rispettive proporzioni delle loro correlazioni ...
Le $\beta$ sono correlazioni parziali, $R^2$ è la correlazione multipla quadrata ... correlazioni moltiplicate per correlazioni parziali ...
Se prima ortogonalizziamo, allora $\beta$ s sarà $\mathrm{Cov}/\mathrm{Var}$ ... questo risultato ha un senso geometrico?

Nessuno di questi fili sembra portare da nessuna parte per me. Qualcuno può fornire una chiara spiegazione di come comprendere questo risultato.

Prova insoddisfacente

R^{2} = \frac{S S_{r e g}}{S S_{T o t}} = \frac{S S_{r e g}}{N} = ⟨ (β_{1} X_{1} + β_{2} X_{2})^{2} ⟩ = ⟨ β_{1}^{2} X_{1}^{2} ⟩ + ⟨ β_{2}^{2} X_{2}^{2} ⟩ + 2 ⟨ β_{1} β_{2} X_{1} X_{2} ⟩

$\begin{equation} R^2 = \frac{SS_{reg}}{SS_{Tot}} = \frac{SS_{reg}}{N} = \langle(\beta_1 X_1 + \beta_2 X_2)^2\rangle \\= \langle\beta_1^2 X_1^2\rangle + \langle\beta_2^2 X_2^2\rangle + 2\langle\beta_1\beta_2X_1X_2\rangle \end{equation}$

C o r (Y, X_{1}) β_{1} + C o r (Y, X_{2}) β_{2} = ⟨ Y X_{1} ⟩ β_{1} + ⟨ Y X_{2} ⟩ β_{2} = ⟨ β_{1} X_{1}^{2} + β_{2} X_{1} X_{2} ⟩ β_{1} + ⟨ β_{1} X_{1} X_{2} + β_{2} X_{2}^{2} ⟩ β_{2} = ⟨ β_{1}^{2} X_{1}^{2} ⟩ + ⟨ β_{2}^{2} X_{2}^{2} ⟩ + 2 ⟨ β_{1} β_{2} X_{1} X_{2} ⟩

$\begin{equation} \mathrm{Cor}(Y,X_1) \beta_1 + \mathrm{Cor}(Y, X_2) \beta_2 = \langle YX_1\rangle\beta_1 + \langle Y X_2\rangle \beta_2\\ =\langle \beta_1 X_1^2 + \beta_2 X_1 X_2\rangle \beta_1 + \langle \beta_1 X_1 X_2 + \beta_2 X_2^2\rangle \beta_2\\ =\langle \beta_1^2 X_1^2\rangle + \langle \beta_2^2 X_2^2 \rangle + 2\langle \beta_1 \beta_2 X_1 X_2\rangle \end{equation}$

QED.

— Korone
fonte

È necessario utilizzare variabili standardizzate, altrimenti la formula per non è garantita tra e . Anche se questo assunto emerge dalla tua prova, sarebbe utile renderlo esplicito all'inizio. Sono perplesso anche su quello che stai davvero facendo: il tuo è chiaramente una funzione del modello da solo - non avendo nulla a che fare con i dati - eppure inizi a menzionare che hai "adattato" il modello a qualcosa .

R^{2}

$R^2$

0

$0$

1

$1$

R^{2}

$R^2$

— whuber

Il tuo risultato migliore non vale solo se X1 e X2 sono perfettamente non correlati?

— gung - Ripristina Monica

@gung Non credo - la prova in fondo sembra dire che funziona indipendentemente. Anche questo risultato mi sorprende, quindi voglio una "chiara prova di comprensione"

— Korone,

@whuber Non sono sicuro di cosa intendi per "funzione del modello da solo"? Intendo semplicemente per OLS semplice con due variabili del predittore. Vale a dire questa è la versione variabile 2 di

R^{2}

$R^2$

R^{2} = C o r (Y, X)^{2}

$R^2 = Cor(Y,X)^2$

— Korone

Non so dire se i tuoi sono parametri o stime.

β_{i}

$\beta_i$

— whuber

Risposte:

La matrice del cappello è idempotente.

(Questo è un modo algebrico lineare per affermare che OLS è una proiezione ortogonale del vettore di risposta sullo spazio attraversato dalle variabili.)

Ricordalo per definizione

R^{2} = \frac{E S S}{T S S}

$R^2 = \frac{ESS}{TSS}$

dove

E S S = (\hat{Y})^{'} \hat{Y}

$ESS = (\hat Y)^\prime \hat Y$

è la somma dei quadrati dei valori previsti (centrati) e

T S S = Y^{'} Y

$TSS = Y^\prime Y$

è la somma dei quadrati dei valori di risposta (centrati). Anche la standardizzazione anticipata di alla varianza dell'unità implica $Y$

T S S = Y^{'} Y = n .

$TSS = Y^\prime Y = n.$

Ricordiamo anche che i coefficienti stimati sono dati da

\hat{β} = (X^{'} X)^{-} X^{'} Y,

$\hat\beta = (X^\prime X)^{-} X^\prime Y,$

da dove

\hat{Y} = X \hat{β} = X (X^{'} X)^{-} X^{'} Y = H Y

$\hat Y = X \hat \beta = X (X^\prime X)^{-} X^\prime Y = H Y$

dove è la "matrice cappello" effettuando la proiezione di sui suoi minimi quadrati . È simmetrico (che è evidente dalla sua stessa forma) e idempotente . Ecco una prova di quest'ultimo per coloro che non hanno familiarità con questo risultato. Mescola solo parentesi: $H$ $Y$ $\hat Y$

\begin{aligned} H^{'} H = H H & = (X (X^{'} X)^{-} X^{'}) (X (X^{'} X)^{-} X^{'}) \\ = X (X^{'} X)^{-} (X^{'} X) (X^{'} X)^{-} X^{'} \\ = X (X^{'} X)^{-} X^{'} = H . \end{aligned}

$\eqalign{H^\prime H = H H &=\left( X (X^\prime X)^{-} X^\prime\right)\left(X (X^\prime X)^{-} X^\prime \right) \\ &= X (X^\prime X)^{-} \left(X^\prime X \right) (X^\prime X)^{-} X^\prime \\ &= X (X^\prime X)^{-} X^\prime = H. }$

Perciò

R^{2} = \frac{E S S}{T S S} = \frac{1}{n} (\hat{Y})^{'} \hat{Y} = \frac{1}{n} Y^{'} H^{'} H Y = \frac{1}{n} Y^{'} H Y = (\frac{1}{n} Y^{'} X) \hat{β} .

$R^2 = \frac{ESS}{TSS} = \frac{1}{n} (\hat Y)^\prime \hat Y = \frac{1}{n}Y^\prime H^\prime H Y = \frac{1}{n}Y^\prime H Y = \left(\frac{1}{n}Y^\prime X\right) \hat \beta.$

La mossa cruciale nel mezzo ha usato l'idempotenza della matrice del cappello. Il lato destro è la formula magica perché è il (riga) vettore di coefficienti di correlazione tra e le colonne di . $\frac{1}{n}Y^\prime X$ $Y$ $X$

— whuber
fonte

(+1) Scrittura molto bella. Ma perché ^{-}invece che ^{-1}ovunque?

— ameba,

@amoeba È un inverso generalizzato , messo lì per gestire i casi in cui può essere singolare.

X^{'} X

$X^\prime X$

— whuber

@amoeba Penrose, nel suo documento originale ( A Generalized Inverse for Matrices , 1954) usava la notazione . Non mi piace né quello né la notazione perché sono troppo facilmente confusi con coniugati, trasposizioni o trasposizioni coniugate, mentre la notazione è così suggestiva di un inverso che il lettore casuale può cavarsela pensando come se gli piace. Sei un lettore troppo bravo, ma grazie per averlo notato.

A^{†}

$A^\dagger$

A^{+}

$A^{+}$

A^{-}

$A^{-}$

A^{- 1}

$A^{-1}$

— whuber

Motivazione interessante e avvincente, ma posso chiedere se questa notazione è qualcosa che viene occasionalmente usata altrove o è una tua invenzione?

— ameba,

@amoeba: Sì, questa notazione appare altrove, incluso nei testi classici di Graybill sul modello lineare.

— cardinale il

Le tre formule seguenti sono ben note, si trovano in molti libri sulla regressione lineare. Non è difficile derivarli.

$\beta_1= \frac {r_{YX_1}-r_{YX_2}r_{X_1X_2}} {\sqrt{1-r_{X_1X_2}^2}}$

$\beta_2= \frac {r_{YX_2}-r_{YX_1}r_{X_1X_2}} {\sqrt{1-r_{X_1X_2}^2}}$

$R^2= \frac {r_{YX_1}^2+r_{YX_2}^2-2 r_{YX_1}r_{YX_2}r_{X_1X_2}} {\sqrt{1-r_{X_1X_2}^2}}$

Se sostituisci i due beta nella tua equazione , otterrai la formula sopra per R-quadrato. $R^2 = r_{YX_1} \beta_1 + r_{YX_2} \beta_2$

Ecco una "intuizione" geometrica. Di seguito sono riportate due immagini che mostrano la regressione di di e . Questo tipo di rappresentazione è noto come variabili come vettori nello spazio soggetto ( leggi di cosa si tratta). Le immagini vengono disegnate dopo aver centrato tutte e tre le variabili, quindi (1) la lunghezza di ogni vettore = st. deviazione della rispettiva variabile e (2) angolo (il suo coseno) tra ogni due vettori = correlazione tra le rispettive variabili. $Y$ $X_1$ $X_2$

inserisci qui la descrizione dell'immagine

$\hat{Y}$ è la previsione di regressione (proiezione ortogonale di sul "piano X"); è il termine di errore; , coefficiente di correlazione multipla. $Y$ $e$ $cos \angle{Y \hat{Y}}={|\hat Y|}/|Y|$

L'immagine a sinistra mostra le coordinate oblique di sulle variabili e . Sappiamo che tali coordinate mettono in relazione i coefficienti di regressione. Vale a dire, le coordinate sono: e . $\hat{Y}$ $X_1$ $X_2$ $b_1|X_1|=b_1\sigma_{X_1}$ $b_2|X_2|=b_2\sigma_{X_2}$

E l'immagine a destra mostra le coordinate perpendicolari corrispondenti . Sappiamo che tali coordinate mettono in relazione i coefficienti di correlazione di ordine zero (questi sono coseni di proiezioni ortogonali). Se è la correlazione tra e e è la correlazione tra e allora la coordinata è . Allo stesso modo per l'altra coordinata, . $r_1$ $Y$ $X_1$ $r_1^*$ $\hat Y$ $X_1$ $r_1|Y|=r_1\sigma_{Y} = r_1^*|\hat{Y}|=r_1^*\sigma_{\hat{Y}}$ $r_2|Y|=r_2\sigma_{Y} = r_2^*|\hat{Y}|=r_2^*\sigma_{\hat{Y}}$

Finora erano spiegazioni generali della rappresentazione del vettore di regressione lineare. Ora passiamo all'attività per mostrare come può portare a . $R^2 = r_1 \beta_1 + r_2 \beta_2$

Innanzitutto, ricorda che nella loro domanda @Corone ha avanzato la condizione che l'espressione sia vera quando tutte e tre le variabili sono standardizzate , cioè non solo centrate ma anche ridimensionate alla varianza 1. Quindi (cioè implicando per essere le "parti operative" dei vettori) abbiamo coordinate pari a: ; ; ; ; così come. Ridisegna, in queste condizioni, solo il "piano X" delle immagini sopra: $|X_1|=|X_2|=|Y|=1$ $b_1|X_1|=\beta_1$ $b_2|X_2|=\beta_2$ $r_1|Y|=r_1$ $r_2|Y|=r_2$ $R=|\hat Y|/|Y|=|\hat Y|$

inserisci qui la descrizione dell'immagine

Sull'immagine, abbiamo una coppia di coordinate ortogonali ed una coppia di coordinate skew, dello stesso vettore di lunghezza . Esiste una regola generale per ottenere coordinate perpendicolari da quelle inclinate (o indietro): , dove è la matrice di quelle perpendicolari; è la stessa matrice di dimensioni di quelli obliqui; e sono la matrice simmetrica degli angoli (coseni) tra gli assi non ortogonali. $\hat Y$ $R$ $\bf P = S C$ $\bf P$ points X axes $\bf S$ $\bf C$ axes X axes

$X_1$ e sono gli assi nel nostro caso, con come il coseno tra di loro. Quindi, e . $X_2$ $r_{12}$ $r_1 = \beta_1 + \beta_2 r_{12}$ $r_2 = \beta_1 r_{12} + \beta_2$

Sostituisci questi espressi tramite s @ Corone e otterrai quel , - che è vero , perché è esattamente come una diagonale di un parallelogramma (colorato sull'immagine) viene espressa attraverso i suoi lati adiacenti (quantità essendo il prodotto scalare). $r$ $\beta$ $R^2 = r_1 \beta_1 + r_2 \beta_2$ $R^2 = \beta_1^2 + \beta_2^2 + 2\beta_1\beta_2r_{12}$ $\beta_1\beta_2r_{12}$

La stessa cosa è vera per qualsiasi numero di predittori X. Sfortunatamente, è impossibile disegnare immagini simili con molti predittori.

— ttnphns
fonte

+1 bello vederlo costruito anche in questo modo, ma questo non aggiunge tante intuizioni rispetto alla risposta di whuber

— Korone,

@Corone, ho aggiunto alcune "intuizioni" che potresti prendere.

— ttnphns,

+1 Davvero fantastico (dopo l'aggiornamento). Pensavo che invocare una "regola generale" per la conversione tra coordinate fosse un po 'eccessivo (e per me era solo confuso); per vedere che ad esempio basta ricordare la definizione di coseno e osservare uno dei triangoli giusti.

r_{1} = β_{1} + β_{2} r_{12}

$r_1 = \beta_1 + \beta_2 r_{12}$

— ameba,

Modifica davvero interessante, switch accettato.

— Korone,