La forma chiusa di w nella regressione lineare può essere scritta come
Come possiamo spiegare intuitivamente il ruolo di in questa equazione?
La forma chiusa di w nella regressione lineare può essere scritta come
Come possiamo spiegare intuitivamente il ruolo di in questa equazione?
Risposte:
Ho trovato questi post particolarmente utili:
Come derivare lo stimatore meno quadrato per la regressione lineare multipla?
Relazione tra SVD e PCA. Come usare SVD per eseguire PCA?
http://www.math.miami.edu/~armstrong/210sp13/HW7notes.pdf
Se è una n × p matrice allora la matrice X ( X T X ) - 1 X T definisce una proiezione sullo spazio colonna di X . Intuitivamente, hai un sistema di equazioni sovradeterminato, ma vuoi comunque usarlo per definire una mappa lineare R p → R che mapperà le righe x i di X su qualcosa vicino ai valori y i , i ∈ { 1 , ... , n }. Quindi ci accontentiamo di inviare alla cosa più vicina a y che può essere espressa come una combinazione lineare delle tue caratteristiche (le colonne di X ).
Per quanto riguarda l'interpretazione di , non ho ancora una risposta straordinaria. So che puoi pensare a ( X T X ) come sostanzialmente la matrice di covarianza del set di dati.
Un punto di vista geometrico può essere come il n-dimensionale vettori e X beta sono punti n-dimensionale spazio V . Dove X β è anche nel sottospazio W sotteso dai vettori x 1 , x 2 , ⋯ , x m .
Per questo sottospazio possiamo immaginare due diversi tipi di coordinate :
Gli non sono coordinate in senso normale, ma lo fanno definire un punto nel sottospazio . Ogni α i si riferisce alle proiezioni perpendicolari sui vettori x i . Se utilizziamo i vettori unità x i (per semplicità), le "coordinate" α i per un vettore z possono essere espresse come:
e l'insieme di tutte le coordinate come:
per l'espressione di "coordinate" α diventa una conversione da coordinate β a "coordinate" α
Potresti vedere come espressione di quanto ogni x i proietta sull'altro x j
Quindi l'interpretazione geometrica di può essere vista come la mappa dalle "coordinate" della proiezione vettoriale α alle coordinate lineari β .
L'espressione fornisce le "coordinate" di proiezione di y e ( X T X ) - 1 le trasforma in β .
Nota : La proiezione "coordinate" sono uguali come proiezione "coordinate" di y dato ( y - y ) ⊥ X .
Supponendo che tu abbia familiarità con la semplice regressione lineare: e la sua soluzione : β = c o v [ x i , y i ]
È facile vedere come corrisponda al numeratore sopra e X ′ X si associ al denominatore. Poiché abbiamo a che fare con le matrici, l'ordine conta. X ′ X è la matrice KxK e X ′ y è il vettore Kx1. Quindi, l'ordine è: ( X ′ X ) - 1 X ′ y