Relazione tra regressione della cresta e regressione della PCA

Ricordo di aver letto da qualche parte sul web una connessione tra regressione della cresta (con $\ell_2$ regolarizzazione) e regressione della PCA: durante l'utilizzo della regressione $\ell_2$ regolata con iperparametro $\lambda$ , se $\lambda \to 0$ , la regressione equivale alla rimozione della variabile PC con il più piccolo autovalore.

Perché è vero?
Questo ha qualcosa a che fare con la procedura di ottimizzazione? Ingenuamente, mi sarei aspettato che fosse equivalente a OLS.
Qualcuno ha un riferimento per questo?

— Jose G
fonte

Potresti spiegare più esplicitamente come PCA e regressione sono collegati nella tua dichiarazione? La regressione distingue dipendenti da variabili indipendenti, mentre nel PCA non si verifica nulla del genere. Quindi a quali variabili stai applicando il PCA? Non possono essere solo le variabili indipendenti, poiché ciò avrebbe poco a che fare con la regressione. Ma se viene applicato a tutte le variabili, gli autovettori sono combinazioni lineari di tutte. Cosa potrebbe significare rimuovere un componente del genere dal set di dati, poiché coinvolge la variabile dipendente?

— whuber

La connessione (come ho capito) è che se si utilizza una penalità di regolarizzazione molto piccola, una regressione regolarizzata L2 rimuoverà la variabile che ha l'autovalore più piccolo. Pertanto, eseguire SVD sulla matrice di progettazione e rimuovere la variabile con l'autovalore più piccolo equivale a una regressione con una penalità di regolarizzazione "debole" ... Questa è la spiegazione più vicina che ho trovato a questo: sites.stat.psu. edu / ~ jiali / course / stat597e / notes2 / lreg.pdf

— Jose G

Il tuo riferimento sembra dimostrare il contrario di quello che stai dicendo nei tuoi commenti: per i piccoli

, i risultati cambiano molto poco. Niente viene rimosso affatto. In effetti, diverse diapositive sembrano volte a evidenziare la differenza tra regressione penalizzata di

(in cui le stime sono ridotte a

) e "regressione di PCA" (in cui i componenti più piccoli vengono completamente rimossi - il che può essere una brutta cosa in alcune circostanze).

λ

$\lambda$

L^{2}

$L^2$

0

$0$

— whuber

Mmm .. ha trovato un altro riferimento: statweb.stanford.edu/~owen/courses/305/Rudyregularization.pdf Nella diapositiva "

e componenti principali", si dice che i progetti di regressione della cresta y su questi componenti con grande dj * sigh *

y^{r i d g e}

$y^{ridge}$

— Jose G

Hai notato che p. 14 di quell'ultimo riferimento risponde esplicitamente alla tua domanda?

— whuber

Risposte:

Sia la matrice predittiva centrata e si consideri la sua scomposizione del valore singolare con è una matrice diagonale con elementi diagonali . $\mathbf X$ $n \times p$ $\mathbf X = \mathbf{USV}^\top$ $\mathbf S$ $s_i$

I valori stimati di minimi quadrati ordinari (OLS) regressione sono date da I valori stimati della regressione cresta sono date da

{\hat{y}}_{O L S} = X β_{O L S} = X (X^{⊤} X)^{- 1} X^{⊤} y = U U^{⊤} y .

$\hat {\mathbf y}_\mathrm{OLS} = \mathbf X \beta_\mathrm{OLS} = \mathbf X (\mathbf X^\top \mathbf X)^{-1} \mathbf X^\top \mathbf y = \mathbf U \mathbf U^\top \mathbf y.$

I valori stimati della PCA regressione (PCR) con

componenti sono date da

{\hat{y}}_{r i d g e} = X β_{r i d g e} = X (X^{⊤} X + λ I)^{- 1} X^{⊤} y = U d i a g {\frac{s_{i}^{2}}{s_{i}^{2} + λ}} U^{⊤} y .

$\hat {\mathbf y}_\mathrm{ridge} = \mathbf X \beta_\mathrm{ridge} = \mathbf X (\mathbf X^\top \mathbf X + \lambda \mathbf I)^{-1} \mathbf X^\top \mathbf y = \mathbf U\: \mathrm{diag}\left\{\frac{s_i^2}{s_i^2+\lambda}\right\}\mathbf U^\top \mathbf y.$

k

$k$

dove sono presenti

seguiti da zero.

{\hat{y}}_{P C R} = X_{P C A} β_{P C R} = U d i a g {1, \dots, 1, 0, \dots 0} U^{⊤} y,

$\hat {\mathbf y}_\mathrm{PCR} = \mathbf X_\mathrm{PCA} \beta_\mathrm{PCR} = \mathbf U\: \mathrm{diag}\left\{1,\ldots, 1, 0, \ldots 0\right\}\mathbf U^\top \mathbf y,$

k

$k$

Da qui possiamo vedere che:

Se allora . $\lambda=0$ $\hat {\mathbf y}_\mathrm{ridge} = \hat {\mathbf y}_\mathrm{OLS}$
$\lambda>0$ $s_i$ $s_i^2 \approx \lambda$
$k$ $\lambda=0$ $k$ $\lambda=\infty$
Ciò significa che la regressione della cresta può essere vista come una "versione regolare" della PCR.

$s_i$ $\mathbf X$
La regressione della cresta tende a ottenere prestazioni migliori nella pratica (ad es. Per ottenere prestazioni con convalida incrociata superiore).
$\lambda \to 0$ $\hat {\mathbf y}_\mathrm{ridge} \to \hat {\mathbf y}_\mathrm{OLS}$ $s_i$

Un buon riferimento è The Elements of Statistical Learning , Sezione 3.4.1 "Ridge regression".

Vedi anche questo thread: Interpretazione della regolarizzazione della cresta in regressione e in particolare della risposta di @BrianBorchers.

— ameba dice Reinstate Monica
fonte

s_{i} -

$s_i -$

β_{L e a s t - s q u a r e s}

$\beta_{Least-squares}$

k

$k$

U diag (1_{1}, 1_{2}, . . ., 1_{k}, 0, . . ., 0) U^{T} y

$\mathbf{U} {\text{diag}}(1_1,1_2,...,1_k,0,...,0)\mathbf{U}^T\mathbf{y}$

Questo è bellissimo.

— xxx222,

Elements of Statistical Learning ha una grande discussione su questa connessione.

Il modo in cui ho interpretato questa connessione e logica è il seguente:

PCA è una combinazione lineare delle variabili caratteristica, che tenta di massimizzare la varianza dei dati spiegata dal nuovo spazio.
I dati che soffrono di multicollinearità (o più predittori di righe di dati) portano a una matrice di covarianza che non ha un rango completo.
Con questa matrice di covarianza, non possiamo invertire per determinare la soluzione dei minimi quadrati; questo fa sì che l'approssimazione numerica dei coefficienti dei minimi quadrati esploda all'infinito.
La regressione della cresta introduce la pena Lambda sulla matrice di covarianza per consentire l'inversione della matrice e la convergenza dei coefficienti LS.

La connessione PCA è che la regressione della cresta sta calcolando le combinazioni lineari delle caratteristiche per determinare dove si sta verificando la multicollinearità. Le combinazioni lineari di caratteristiche (Principle Component Analysis) con la varianza più piccola (e quindi valori singolari più piccoli e autovalori minori nella PCA) sono quelle penalizzate più duramente.

Pensare in questo modo; per le Combinazioni lineari di funzioni con varianza minima, abbiamo trovato le caratteristiche più simili, causando quindi la multicollinearità. Poiché Ridge non riduce il set di funzionalità, qualunque direzione stia descrivendo questa combinazione lineare, la funzione originale corrispondente a quella direzione viene penalizzata maggiormente.

— MDornbos
fonte

X β = y,

$\mathbf X \beta = \mathbf y\,,$

X

$\mathbf X$

X = U S V^{T},

$\mathbf X = \mathbf U \,\mathbf S \,\mathbf V^T,$

S = diag (s_{i})

$\mathbf S = \text{diag}(s_i)$

$\beta$

β_{O L S} = V S^{- 1} U^{T}

$\beta_{OLS} = \mathbf V \,\mathbf S^{-1} \,\mathbf U^T$

s_{i}

$s_i$

$\mathbf S^{-1}$ $\beta$

\begin{aligned} S_{ridge}^{- 1} & = diag (\frac{s_{i}}{s_{i}^{2} + α}), \\ β_{ridge} & = V S_{ridge}^{- 1} U^{T} \end{aligned}

$\begin{align} \mathbf S^{-1}_{\text{ridge}} &= \text{diag}\bigg(\frac{s_i}{s^2_i+\alpha}\bigg),\\ \beta_{\text{ridge}} &= \ \mathbf V \,\mathbf S_{\text{ridge}}^{-1} \,\mathbf U^T \end{align}$

PCA replaces $\mathbf S^{-1}$ by

\begin{aligned} S_{PCA}^{- 1} & = diag (\frac{1}{s_{i}} θ (s_{i} - γ)), \\ β_{PCA} & = V S_{PCA}^{- 1} U^{T} \end{aligned}

$\begin{align} \mathbf S^{-1}_{\text{PCA}} &= \text{diag}\bigg(\frac{1}{s_i} \, \theta(s_i-\gamma)\bigg)\,,\\ \beta_{\text{PCA}} &= \ \mathbf V \,\mathbf S_{\text{PCA}}^{-1} \,\mathbf U^T \end{align}$ wehre

θ

$\theta$ is the step function, and

γ

$\gamma$ is the threshold parameter.

Both methods thus weaken the impact of subspaces corresponding to small values. PCA does that in a hard way, while the ridge is a smoother approach.

More abstractly, feel free to come up with your own regularization scheme

S_{myReg}^{- 1} = diag (R (s_{i})),

$\mathbf S^{-1}_{\text{myReg}} = \text{diag}\big(R(s_i)\big)\,,$ where

R (x)

$R(x)$ is a function that should approach zero for

x \to 0

$x\rightarrow 0$ and

R (x) \to x^{- 1}

$R(x)\rightarrow x^{-1}$ for

x

$x$ large. But remember, there's no free lunch.

— davidhigh
fonte