Interpretazione geometrica del coefficiente di correlazione multipla e coefficiente di determinazione

Sono interessato al significato geometrico della correlazione multipla e del coefficiente di determinazione nella regressione o in notazione vettoriale, $R$ $R^2$ $y_i = \beta_1 + \beta_2 x_{2,i} + \dots + \beta_k x_{k,i} + \epsilon_i$

y = X β + ϵ

$\mathbf{y} = \mathbf{X \beta} + \mathbf{\epsilon}$

Qui la matrice di progettazione $\mathbf{X}$ ha $n$ righe e $k$ colonne, di cui la prima è $\mathbf{x}_1 = \mathbf{1}_n$ , un vettore di 1 che corrisponde all'intercetta $\beta_1$ .

La geometria è più interessante nello spazio soggetto $n$ dimensionale piuttosto che nello spazio variabile $k$ dimensionale. Definisci la matrice del cappello:

H = {X (X^{⊤} X)}^{- 1} X^{⊤}

$\mathbf{H} = \mathbf{X \left(X^\top X \right)}^{-1} \mathbf{X}^\top$

Questa è una proiezione ortogonale sullo spazio della colonna di $\mathbf{X}$ , ovvero il piano attraverso l'origine attraversato dai vettori $k$ che rappresentano ciascuna variabile $\mathbf{x}_i$ , il primo dei quali è $\mathbf{1}_n$ . Quindi $\mathbf{H}$ proietta il vettore delle risposte osservate $\mathbf{y}$ sulla sua "ombra" sul piano, il vettore dei valori adattati $\mathbf{\hat{y}} = \mathbf{Hy}$ , e se noi guardando lungo il percorso della proiezione vediamo il vettore dei residui $\mathbf{e} = \mathbf{y} - \mathbf{\hat{y}}$ costituisce il terzo lato di un triangolo. Questo dovrebbe fornirci due percorsi per un'interpretazione geometrica di $R^2$ :

Il quadrato del coefficiente di correlazione multipla, $R$ , che è definito come la correlazione tra $\mathbf{y}$ e $\mathbf{\hat{y}}$ . Questo apparirà geometricamente come il coseno di un angolo.
In termini di lunghezze dei vettori: ad esempio $SS_\text{residual} = \sum_{i=1}^{n}e_i^2 = \|\mathbf{e}\|^2$ .

Sarei felice di vedere un breve resoconto che spiega:

I dettagli più fini per (1) e (2),
Perché (1) e (2) sono equivalenti,
In breve, come l'intuizione geometrica ci consente di visualizzare le proprietà di base di $R^2$ , ad esempio perché va a 1 quando la varianza del rumore va a 0. (Dopotutto, se non riusciamo a intuire dalla nostra visualizzazione, non è altro che un bella immagine.)

Apprezzo che sia più semplice se le variabili sono centrate per prime, il che rimuove l'intercettazione dalla domanda. Tuttavia, nella maggior parte degli account di libri di testo che introducono una regressione multipla, la matrice di progettazione è come ho indicato. Ovviamente va bene se un'esposizione scava nello spazio attraversato dalle variabili centrate, ma per approfondire l'algebra lineare del libro di testo, sarebbe molto utile ricollegarlo a ciò che sta accadendo geometricamente nella situazione non centrata. Una risposta davvero perspicace potrebbe spiegare che cosa sta esattamente analizzando geometricamente quando il termine dell'intercettazione viene eliminato , ovvero quando il vettore $\mathbf{X}$ $\mathbf{1}_n$ viene rimosso dal set di spanning. Non credo che questo ultimo punto possa essere affrontato considerando solo le variabili centrate.

— pesciolino d'argento
fonte

Se c'è un termine costante nel modello, allora trova nello spazio di colonna di (così come , che sarà utile in seguito). Il montato è la proiezione ortogonale del osservato sul piano formato dallo spazio di quella colonna. Ciò significa che il vettore dei residui è perpendicolare al piano, e quindi a . Considerando il prodotto punto possiamo vedere , quindi i componenti di devono riassumere a zero. Dato che lo concludiamo $\mathbf{1_n}$ $\mathbf{X}$ $\bar{Y}\mathbf{1_n}$ $\mathbf{\hat{Y}}$ $\mathbf{Y}$ $\mathbf{e} = \mathbf{y} - \mathbf{\hat{y}}$ $\mathbf{1_n}$ $\sum_{i=1}^n e_i = 0$ $\mathbf{e}$ $Y_i = \hat{Y_i} + e_i$ $\sum_{i=1}^n Y_i = \sum_{i=1}^n \hat{Y_i}$ modo che sia le risposte adattate che quelle osservate abbiano un significato . $\bar{Y}$

Vettori nello spazio soggetto di regressione multipla

Le linee tratteggiate nel diagramma rappresentano e , che sono i vettori centrati per le risposte osservate e adattate. Il coseno dell'angolo tra questi vettori sarà quindi la correlazione tra e , che per definizione è il coefficiente di correlazione multipla . Il triangolo che formano questi vettori con il vettore dei residui è ad angolo retto poiché trova nell'appartamento ma è ortogonale ad esso. Quindi: $\mathbf{Y} - \bar{Y}\mathbf{1_n}$ $\mathbf{\hat{Y}} - \bar{Y}\mathbf{1_n}$ $\theta$ $Y$ $\hat{Y}$ $R$ $\mathbf{\hat{Y}} - \bar{Y}\mathbf{1_n}$ $\mathbf{e}$

R = \cos (θ) = \frac{adj}{hyp} = \frac{‖ \hat{Y} - \bar{Y} 1_{n} ‖}{‖ Y - \bar{Y} 1_{n} ‖}

$R = \cos(\theta) = \frac{\text{adj}}{\text{hyp}} = \frac{\|\mathbf{\hat{Y}} - \bar{Y}\mathbf{1_n}\|}{\|\mathbf{Y} - \bar{Y}\mathbf{1_n}\|}$

Potremmo anche applicare Pitagora al triangolo:

‖ Y - \bar{Y} 1_{n} ‖^{2} = ‖ Y - \hat{Y} ‖^{2} + ‖ \hat{Y} - \bar{Y} 1_{n} ‖^{2}

$\|\mathbf{Y} - \bar{Y}\mathbf{1_n}\|^2 = \|\mathbf{Y} - \mathbf{\hat{Y}}\|^2 + \|\mathbf{\hat{Y}} - \bar{Y}\mathbf{1_n}\|^2$

Quale può essere più familiare come:

\sum_{i = 1}^{n} (Y_{i} - \bar{Y})^{2} = \sum_{i = 1}^{n} (Y_{i} - {\hat{Y}}_{i})^{2} + \sum_{i = 1}^{n} ({\hat{Y}}_{i} - \bar{Y})^{2}

$\sum_{i=1}^{n} (Y_i - \bar{Y})^2 = \sum_{i=1}^{n} (Y_i - \hat{Y}_i)^2 + \sum_{i=1}^{n} (\hat{Y}_i - \bar{Y})^2$

Questa è la decomposizione delle somme di quadrati, . $SS_{\text{total}} = SS_{\text{residual}} + SS_{\text{regression}}$

La definizione standard per il coefficiente di determinazione è:

R^{2} = 1 - \frac{S S_{residual}}{S S_{total}} = 1 - \frac{\sum_{i = 1}^{n} (y_{i} - {\hat{y}}_{i})^{2}}{\sum_{i = 1}^{n} (y_{i} - \bar{y})^{2}} = 1 - \frac{‖ Y - \hat{Y} ‖^{2}}{‖ Y - \bar{Y} 1_{n} ‖^{2}}

$R^2 = 1 - \frac{SS_{\text{residual}}}{SS_{\text{total}}} = 1 - \frac{\sum_{i=1}^n (y_i - \hat{y}_i)^2}{\sum_{i=1}^n (y_i - \bar{y})^2} = 1 - \frac{\|\mathbf{Y} - \mathbf{\hat{Y}}\|^2}{\|\mathbf{Y} - \bar{Y}\mathbf{1_n}\|^2}$

Quando le somme di quadrati possono essere suddivise in partizioni, è necessaria un'algebra semplice per dimostrare che ciò equivale alla formulazione "proporzione della varianza spiegata",

R^{2} = \frac{S S_{regression}}{S S_{total}} = \frac{\sum_{i = 1}^{n} ({\hat{y}}_{i} - \bar{y})^{2}}{\sum_{i = 1}^{n} (y_{i} - \bar{y})^{2}} = \frac{‖ \hat{Y} - \bar{Y} 1_{n} ‖^{2}}{‖ Y - \bar{Y} 1_{n} ‖^{2}}

$R^2 = \frac{SS_{\text{regression}}}{SS_{\text{total}}} = \frac{\sum_{i=1}^n (\hat{y}_i - \bar{y})^2}{\sum_{i=1}^n (y_i - \bar{y})^2} = \frac{\|\mathbf{\hat{Y}} - \bar{Y}\mathbf{1_n}\|^2}{\|\mathbf{Y} - \bar{Y}\mathbf{1_n}\|^2}$

C'è un modo geometrico di vederlo dal triangolo, con un'algebra minima. La formula di definizione dà e con la trigonometria di base possiamo semplificare questo a . Questo è il legame tra e . $R^2 = 1 - \sin^2(\theta)$ $\cos^2(\theta)$ $R^2$ $R$

Nota quanto sia stato vitale per questa analisi un termine di intercettazione, in modo che fosse nello spazio della colonna. Senza questo, i residui non sarebbero sommati a zero, e la media dei valori adattati non avrebbero coinciso con la media di . In quel caso non avremmo potuto disegnare il triangolo; le somme dei quadrati non si sarebbero decomposte in modo pitagorico; non avrebbe avuto la forma più frequentemente citata né essere la piazza di . In questa situazione, alcuni software (incluso ) usano una formula diversa per tutto . $\mathbf{1_n}$ $Y$ $R^2$ $SS_{\text{reg}}/SS_{\text{total}}$ $R$ R $R^2$

— pesciolino d'argento
fonte

+1 Scrittura e figura molto belle. Sono sorpreso che abbia solo il mio unico voto solitario.

— ameba dice Ripristina Monica il

+1. Nota che la figura della tua risposta, con "spazio colonna X", Y, Ypred come vettori ecc. È ciò che è noto nelle statistiche multivariate come "rappresentazione (ridotta) dello spazio soggetto" ( vedi , con ulteriori collegamenti dove l'ho usato ).

— ttnphns,