Intuizione dietro in forma chiusa di w in Regressione lineare

La forma chiusa di w nella regressione lineare può essere scritta come

$\hat{w}=(X^TX)^{-1}X^Ty$

Come possiamo spiegare intuitivamente il ruolo di in questa equazione?$(X^TX)^{-1}$

Ho trovato questi post particolarmente utili:

Come derivare lo stimatore meno quadrato per la regressione lineare multipla?

Relazione tra SVD e PCA. Come usare SVD per eseguire PCA?

http://www.math.miami.edu/~armstrong/210sp13/HW7notes.pdf

Se è una n × p matrice allora la matrice X ( X T X ) - 1 X T definisce una proiezione sullo spazio colonna di X . Intuitivamente, hai un sistema di equazioni sovradeterminato, ma vuoi comunque usarlo per definire una mappa lineare R p → R che mapperà le righe x i di X su qualcosa vicino ai valori y i , i ∈ { 1 , ... , n $X$$n \times p$$X(X^TX)^{-1}X^T$$X$$\mathbb{R}^p \rightarrow \mathbb{R}$$x_i$$X$$y_i$$i\in \{1,\dots,n\}$. Quindi ci accontentiamo di inviare alla cosa più vicina a y che può essere espressa come una combinazione lineare delle tue caratteristiche (le colonne di X ). $X$$y$$X$

Per quanto riguarda l'interpretazione di , non ho ancora una risposta straordinaria. So che puoi pensare a ( X T X ) come sostanzialmente la matrice di covarianza del set di dati.$(X^TX)^{-1}$$(X^TX)$

Punto di vista geometrico

Un punto di vista geometrico può essere come il n-dimensionale vettori e X beta sono punti n-dimensionale spazio V . Dove X β è anche nel sottospazio W sotteso dai vettori x 1 , x 2 , ⋯ , x m .$y$$X\beta$$V$$X\hat\beta$$W$$x_1, x_2, \cdots, x_m$

Due tipi di coordinate

Per questo sottospazio possiamo immaginare due diversi tipi di coordinate :$W$

• I $\boldsymbol{\beta}$ sono come coordinate per uno spazio di coordinate regolare. Il vettore nello spazio W è la combinazione lineare dei vettori x i z = β 1 x 1 + β 2 x 1 + . . . . β m x $z$$W$$\mathbf{x_i}$ $$z = \boldsymbol{\beta_1} \mathbf{x_1} + \boldsymbol{\beta_2} \mathbf{x_1} + .... \boldsymbol{\beta_m} \mathbf{x_m}$$

• Gli $\boldsymbol{\alpha}$ non sono coordinate in senso normale, ma lo fanno definire un punto nel sottospazio . Ogni α i si riferisce alle proiezioni perpendicolari sui vettori x i . Se utilizziamo i vettori unità x i (per semplicità), le "coordinate" α i per un vettore z possono essere espresse come:$W$$\alpha_i$$x_i$$x_i$$\alpha_i$$z$

  $$\alpha_i = \mathbf{x_i^T} \mathbf{z}$$

  e l'insieme di tutte le coordinate come:

Mappatura tra le coordinate e $\boldsymbol{\alpha}$$\boldsymbol{\beta}$

per l'espressione di "coordinate" α diventa una conversione da coordinate β a "coordinate" $\mathbf{z} = \mathbf{X}\boldsymbol{\beta}$$\alpha$$\beta$$\alpha$

Potresti vedere come espressione di quanto ogni x i proietta sull'altro x $(\mathbf{X^T} \mathbf{X})_{ij}$$x_i$$x_j$

Quindi l'interpretazione geometrica di può essere vista come la mappa dalle "coordinate" della proiezione vettoriale α alle coordinate lineari β .$(\mathbf{X^T} \mathbf{X})^{-1}$$\boldsymbol{\alpha}$$\boldsymbol{\beta}$

L'espressione fornisce le "coordinate" di proiezione di y e ( X T X ) - 1 le trasforma in β .$\mathbf{X^Ty}$$\mathbf{y}$$(\mathbf{X^T} \mathbf{X})^{-1}$$\boldsymbol{\beta}$

Nota : La proiezione "coordinate" sono uguali come proiezione "coordinate" di y dato ( y - y ) ⊥ X .$\mathbf{y}$ $\mathbf{\hat{y}}$$(\mathbf{y-\hat{y}}) \perp \mathbf{X}$

Supponendo che tu abbia familiarità con la semplice regressione lineare: e la sua soluzione : β = c o v [ x i , y i

È facile vedere come corrisponda al numeratore sopra e X ′ X si associ al denominatore. Poiché abbiamo a che fare con le matrici, l'ordine conta. X ′ X è la matrice KxK e X ′ y è il vettore Kx1. Quindi, l'ordine è: ( X ′ X ) - 1 X ′$X'y$$X'X$$X'X$$X'y$$(X'X)^{-1}X'y$