Regressione lineare: * Perché * puoi partizionare somme di quadrati?

9

Questo post fa riferimento a un modello di regressione lineare bivariata, . Ho sempre preso il partizionamento della somma totale dei quadrati (SSTO) in somma dei quadrati per errore (SSE) e somma dei quadrati per il modello (SSR) sulla fede, ma una volta che ho iniziato davvero a pensarci, non capisco perché funziona ... $Y_i = \beta_0 + \beta_1x_i$

La parte che non capisco:

$y_i$ : un valore osservato di y

$\bar{y}$ : La media di tutti osservati s $y_i$

$\hat{y}_i$ : il valore adattato / previsto di y per una data osservazione x

$y_i - \hat{y}_i$ : residuo / errore (se quadrato e sommato per tutte le osservazioni si tratta di SSE)

$\hat{y}_i - \bar{y}$ : quanto il valore adattato del modello differisce dalla media (se al quadrato e sommato per tutte le osservazioni si tratta di SSR)

$y_i - \bar{y}$ : quanto un valore osservato differisce dalla media (se sommato e sommato per tutte le osservazioni, questo è SSTO).

Posso capire perché, per una singola osservazione, senza quadrare nulla, . E capisco perché, se vuoi sommare le cose su tutte le osservazioni, devi quadrarle o faranno aggiungere fino a 0. $(y_i - \bar{y}) = (\hat{y}_i - \bar{y}) + (y_i - \hat{y}_i)$

La parte che non capisco è perché (es. SSTO = SSR + SSE). Sembra che se hai una situazione in cui , quindi , non . Perché non è questo il caso qui? $(y_i - \bar{y})^2 = (\hat{y}_i - \bar{y})^2 + (y_i - \hat{y}_i)^2$ $A = B + C$ $A^2 = B^2 + 2BC + C^2$ $A^2 = B^2 + C^2$

regression sums-of-squares orthogonal

— bluemouse
fonte

5

Hai lasciato fuori la sommatoria nel tuo ultimo paragrafo. SST = SSR + SSE è una somma su , ma la tua uguaglianza che hai scritto immediatamente prima non è effettivamente vera senza il segno di sommatoria lì.

i

$i$

— Glen_b

1

Nel tuo ultimo paragrafo, vuoi (es. SSTO = SSR + SSE) non (es. SSTO = SSR + SSE). "eg" è un'abbreviazione per la frase latina " exempli gratia ", o "per esempio" in inglese. "ie" è un'abbreviazione di " id est " e può essere letto in inglese come "cioè".

— Matthew Gunn,

9

Sembra che se hai una situazione in cui , allora , non . Perché non è questo il caso qui? $A = B + C$ $A^2 = B^2 + 2BC + C^2$ $A^2 = B^2 + C^2$

Concettualmente, l'idea è che perché e sono ortogonali (cioè sono perpendicolari). $BC = 0$ $B$ $C$

Nel contesto della regressione lineare qui, i residui sono ortogonali alla previsione sminuita . La previsione dalla regressione lineare crea una decomposizione ortogonale di in un senso simile poiché è una decomposizione ortogonale. $\epsilon_i = y_i - \hat{y}_i$ $\hat{y}_i - \bar{y}$ $\mathbf{y}$ $(3,4) = (3,0) + (0,4)$

Versione algebra lineare:

Permettere:

z = [\begin{matrix} y_{1} - \bar{y} \\ y_{2} - \bar{y} \\ \dots \\ y_{n} - \bar{y} \end{matrix}] \hat{z} = [\begin{matrix} {\hat{y}}_{1} - \bar{y} \\ {\hat{y}}_{2} - \bar{y} \\ \dots \\ {\hat{y}}_{n} - \bar{y} \end{matrix}] ϵ = [\begin{matrix} y_{1} - {\hat{y}}_{1} \\ y_{2} - {\hat{y}}_{2} \\ \dots \\ y_{n} - {\hat{y}}_{n} \end{matrix}] = z - \hat{z}

$\mathbf{z} = \begin{bmatrix} y_1 - \bar{y} \\ y_2 - \bar{y}\\ \ldots \\ y_n - \bar{y} \end{bmatrix} \quad \quad \mathbf{\hat{z}} = \begin{bmatrix} \hat{y}_1 - \bar{y} \\ \hat{y}_2 - \bar{y} \\ \ldots \\ \hat{y}_n - \bar{y} \end{bmatrix} \quad \quad \boldsymbol{\epsilon} = \begin{bmatrix} y_1 - \hat{y}_1 \\ y_2 - \hat{y}_2 \\ \ldots \\ y_n - \hat{y}_n \end{bmatrix} = \mathbf{z} - \hat{\mathbf{z}}$

La regressione lineare (con una costante inclusa) si decompone nella somma di due vettori: una previsione e un residuo $\mathbf{z}$ $\hat{\mathbf{z}}$ $\boldsymbol{\epsilon}$

z = \hat{z} + ϵ

$\mathbf{z} = \hat{\mathbf{z}} + \boldsymbol{\epsilon}$

Let denota il prodotto punto . (Più in generale, può essere il prodotto interno .) $\langle .,. \rangle$ $\langle X,Y \rangle$ $E[XY]$

\begin{aligned} ⟨ z, z ⟩ & = ⟨ \hat{z} + ϵ, \hat{z} + ϵ ⟩ \\ = ⟨ \hat{z}, \hat{z} ⟩ + 2 ⟨ \hat{z}, ϵ ⟩ + ⟨ ϵ, ϵ ⟩ \\ = ⟨ \hat{z}, \hat{z} ⟩ + ⟨ ϵ, ϵ ⟩ \end{aligned}

$\begin{align*} \langle \mathbf{z} , \mathbf{z} \rangle &= \langle \hat{\mathbf{z}} + \boldsymbol{\epsilon}, \hat{\mathbf{z}} + \boldsymbol{\epsilon} \rangle \\ &= \langle \hat{\mathbf{z}}, \hat{\mathbf{z}} \rangle + 2 \langle \hat{\mathbf{z}},\boldsymbol{\epsilon} \rangle + \langle \boldsymbol{\epsilon},\boldsymbol{\epsilon} \rangle \\ &= \langle \hat{\mathbf{z}}, \hat{\mathbf{z}} \rangle + \langle \boldsymbol{\epsilon},\boldsymbol{\epsilon} \rangle \end{align*}$

Dove l'ultima riga deriva dal fatto che (ovvero che e sono ortogonali). Puoi provare e sono ortogonali in base al modo in cui la regressione dei minimi quadrati ordinaria costruisce . $\langle \hat{\mathbf{z}},\boldsymbol{\epsilon} \rangle = 0$ $\hat{\mathbf{z}}$ $\boldsymbol{\epsilon} = \mathbf{z}- \hat{\mathbf{z}}$ $\hat{\mathbf{z}}$ $\boldsymbol{\epsilon}$ $\hat{\mathbf{z}}$

$\hat{\mathbf{z}}$ è la proiezione lineare di sullo spazio secondario definito dall'intervallo lineare dei regressori , , ecc .... residuo è ortogonale all'intero sottospazio, quindi (che si trova nell'intervallo di , , ecc ...) è ortogonale a . $\mathbf{z}$ $\mathbf{x}_1$ $\mathbf{x}_2$ $\boldsymbol{\epsilon}$ $\hat{\mathbf{z}}$ $\mathbf{x}_1$ $\mathbf{x}_2$ $\boldsymbol{\epsilon}$

Si noti che come ho definito come il prodotto punto, è semplicemente un altro modo di scrivere (ovvero SSTO = SSR + SSE) $\langle .,.\rangle$ $\langle \mathbf{z} , \mathbf{z} \rangle = \langle \hat{\mathbf{z}}, \hat{\mathbf{z}} \rangle + \langle \boldsymbol{\epsilon},\boldsymbol{\epsilon} \rangle$ $\sum_i (y_i - \bar{y})^2 = \sum_i (\hat{y}_i - \bar{y})^2 + \sum_i (y_i - \hat{y}_i)^2$

— Matthew Gunn
fonte

8

Il punto sta mostrando che alcuni vettori sono ortogonali e quindi usano il teorema di Pitagora.

Consideriamo la regressione lineare multivariata . Sappiamo che lo stimatore OLS è . Ora considera il preventivo $Y = X\beta + \epsilon$ $\hat{\beta} = (X^tX)^{-1}X^tY$

$\hat{Y} = X\hat{\beta} = X(X^tX)^{-1}X^tY = HY$ (la matrice H è anche chiamata matrice "hat")

dove è una matrice di proiezione ortogonale di Y su . Ora abbiamo $H$ $S(X)$

$Y - \hat{Y} = Y - HY = (I - H)Y$

dove è una matrice di proiezione sul complemento ortogonale di che è . Quindi sappiamo che e sono ortogonali. $(I-H)$ $S(X)$ $S^{\bot}(X)$ $Y-\hat{Y}$ $\hat{Y}$

Ora considera un sottomodello $Y = X_0\beta_0 + \epsilon$

dove e allo stesso modo abbiamo lo stimatore OLS e stima e con matrice di proiezione su . Allo stesso modo abbiamo che e sono ortogonali. E adesso $X = [X_0 | X_1 ]$ $\hat{\beta_0}$ $\hat{Y_0}$ $H_0$ $S(X_0)$ $Y - \hat{Y_0}$ $\hat{Y_0}$

$\hat{Y} - \hat{Y_0} = HY - H_0Y = HY - H_0HY = (I - H_0)HY$

dove di nuovo è una matrice di proiezione ortogonale sul complemento di che è . Quindi abbiamo ortogonalità di e . Quindi alla fine abbiamo $(I-H_0)$ $S(X_0)$ $S^{\bot}(X_0)$ $\hat{Y} - \hat{Y_0}$ $\hat{Y_0}$

$||Y - \hat{Y}||^2 = ||Y||^2 - ||\hat{Y}||^2 = ||Y - \hat{Y_0}||^2 + ||\hat{Y_0}||^2 - ||\hat{Y} - \hat{Y_0}||^2 - ||\hat{Y_0}||^2$

e infine $||Y - \hat{Y_0}||^2 = ||Y - \hat{Y}||^2 + ||\hat{Y} - \hat{Y_0}||^2$

Infine, la media è semplicemente il quando si considera il modello nullo . $\bar{Y}$ $\hat{Y_0}$ $Y = \beta_0 + e$

— Łukasz Grad
fonte

La ringrazio per la risposta! Che cos'è S () (come in S (X) nel tuo post)?

— Bluemouse,

S (X)

$S(X)$ è un sottospazio generato dalle colonne della matrice

X

$X$

— Łukasz Grad