Interpretazione della regolarizzazione della cresta nella regressione

25

Ho diverse domande riguardanti la penalità della cresta nel contesto dei minimi quadrati:

β_{r i d g e} = (λ I_{D} + X^{'} X)^{- 1} X^{'} y

$\beta_{ridge} = (\lambda I_D + X'X)^{-1}X'y$

1) L'espressione suggerisce che la matrice di covarianza di X è ridotta verso una matrice diagonale, il che significa che (supponendo che le variabili siano standardizzate prima della procedura) verrà ridotta la correlazione tra le variabili di input. Questa interpretazione è corretta?

2) Se si tratta di un'applicazione di restringimento, perché non è formulata nelle righe di , supponendo che in qualche modo possiamo limitare lambda a [0,1] range con una normalizzazione . $(\lambda I_D + (1-\lambda)X'X)$

3) Quale può essere una normalizzazione per modo che possa essere limitata a un intervallo standard come [0,1]. $\lambda$

4) L'aggiunta di una costante alla diagonale influirà su tutti gli autovalori. Sarebbe meglio attaccare solo i valori singolari o quasi singolari? È equivalente all'applicazione di PCA a X e al mantenimento dei componenti principali N-top prima della regressione o ha un nome diverso (poiché non modifica il calcolo della covarianza incrociata)?

5) Possiamo regolarizzare la covarianza incrociata o ha qualche utilità, ovvero

β_{r i d g e} = (λ I_{D} + X^{'} X)^{- 1} (γ X^{'} y)

$\beta_{ridge} = (\lambda I_D + X'X)^{-1}(\gamma X'y)$

dove un piccolo abbasserà la covarianza incrociata. Ovviamente questo riduce allo stesso modo tutti i , ma forse esiste un modo più intelligente come il limite hard / soft a seconda del valore di covarianza. $\gamma$ $\beta$

— Cagdas Ozgenc
fonte

La penalità della cresta deriva da una restrizione che

, mediante un moltiplicatore di Lagrange sulla funzione obiettivo MSE. LASSO è lo stesso ma con

anziché. Sono al telefono, quindi non posso pubblicare facilmente una derivazione al momento. Ma queste sono grandi domande

\sum β^{2} \leq T

$\sum \beta^2 \leq T$

| β |

$|\beta|$

— Shadowtalker il

19

Buone domande!

Sì, questo è esattamente corretto. Puoi vedere la penalità della cresta come un modo possibile per affrontare il problema della multicollinearità che si presenta quando molti predittori sono altamente correlati. L'introduzione della penalità della cresta riduce efficacemente queste correlazioni.
Penso che questa sia in parte tradizione, in parte il fatto che la formula di regressione della cresta, come indicato nella tua prima equazione, deriva dalla seguente funzione di costo: Se , il secondo termine può essere eliminato e la riduzione al minimo del primo termine ("errore di ricostruzione") porta alla formula OLS standard per . Mantenere il secondo termine porta alla formula per . Questa funzione di costo è matematicamente molto conveniente da gestire, e questo potrebbe essere uno dei motivi per preferire lambda "non normalizzata".
$L = ‖ y - X β ‖^{2} + λ ‖ β ‖^{2} .$ $L=\| \mathbf y - \mathbf X \beta \|^2 + \lambda \|\beta\|^2.$ $\lambda=0$ $\beta$ $\beta_\mathrm{ridge}$
Un modo possibile per normalizzare è ridimensionarlo in base alla varianza totale , ovvero usare invece di . Ciò non si limiterebbe necessariamente a a , ma lo renderebbe "senza dimensioni" e probabilmente comporterebbe un ottimale inferiore a in tutti i casi pratici (NB: questa è solo una supposizione!). $\lambda$ $\mathrm{tr}(\mathbf X^\top \mathbf X)$ $\lambda \mathrm{tr}(\mathbf X^\top \mathbf X)$ $\lambda$ $\lambda$ $[0,1]$ $\lambda$ $1$
"Attaccare solo piccoli autovalori" ha un nome separato ed è chiamato regressione dei componenti principali. La connessione tra PCR e regressione della cresta è che nella PCR si ha effettivamente una "penalità di passo" che taglia tutti gli autovalori dopo un certo numero, mentre la regressione della cresta applica una "penalità morbida", penalizzando tutti gli autovalori, con quelli più piccoli che vengono penalizzati di più. Questo è ben spiegato in The Elements of Statistical Learning di Hastie et al. (disponibile gratuitamente online), sezione 3.4.1. Vedi anche la mia risposta in Relazione tra regressione della cresta e regressione della PCA .
Non l'ho mai visto, ma nota che potresti considerare una funzione di costo nella formaCiò riduce il tuo non a zero, ma ad un altro valore predefinito . Se uno risolve la matematica, arriverai al ottimale dato da che forse può essere visto come "regolarizzazione della covarianza incrociata"?
$L = ‖ y - X β ‖^{2} + λ ‖ β - β_{0} ‖^{2} .$ $L=\| \mathbf y - \mathbf X \beta \|^2 + \lambda \|\beta-\beta_0\|^2.$ $\beta$ $\beta_0$ $\beta$ $β = (X^{⊤} X + λ I)^{- 1} (X^{⊤} y + λ β_{0}),$ $\beta = (\mathbf X^\top \mathbf X + \lambda \mathbf I)^{-1} (\mathbf X^\top \mathbf y + \lambda \beta_0),$

— ameba dice Reinstate Monica
fonte

1

Potresti spiegare perché l'aggiunta di a significa che la matrice di covarianza di è ridotta verso una matrice diagonale? Questa è una domanda di algebra puramente lineare suppongo.

λ I_{D}

$\lambda I_D$

X^{'} X

$X'X$

X

$X$

— Heisenberg,

3

@Heisenberg, beh, è la matrice di covarianza di (fino a un fattore di ridimensionamento ). Il calcolo richiede l'inversione di questa matrice di covarianza. Nella regressione della cresta, invece, invertiamo , quindi si può vedere come una stima regolarizzata della matrice di covarianza. Ora il termine è una matrice diagonale con sulla diagonale. Immagina che sia molto grande; quindi la somma è dominata dal termine diagonale , e quindi la covarianza regolarizzata diventa sempre più diagonale man mano che cresce .

X^{⊤} X

$X^\top X$

X

$X$

1 / N

$1/N$

β

$\beta$

X^{⊤} X + λ I

$X^\top X + \lambda I$

X^{⊤} X + λ I

$X^\top X + \lambda I$

λ I

$\lambda I$

λ

$\lambda$

λ

$\lambda$

λ I

$\lambda I$

λ

$\lambda$

— ameba dice di reintegrare Monica il

wrt Q5, Elements of Statistical Learning esamina i vincoli di uniformità per le applicazioni di elaborazione delle immagini (PDA - pagina 447)

— seanv507,

10

Un ulteriore commento sulla domanda 4. In realtà, la regressione della cresta si occupa in modo abbastanza efficace dei piccoli autovalori di , lasciando per lo più solo gli autovalori di grandi dimensioni. $X^{T}X$

Per vedere questo, esprimi lo stimatore di regressione della cresta in termini di decomposizione del valore singolare di , $X$

X = \sum_{i = 1}^{n} σ_{i} u_{i} v_{i}^{T}

$X=\sum_{i=1}^{n} \sigma_{i}u_{i}v_{i}^{T}$

dove vettori sono reciprocamente ortogonali e anche vettori sono reciprocamente ortogonali. Qui gli autovalori di sono , . $u_{i}$ $v_{i}$ $X^{T}X$ $\sigma_{i}^{2}$ $i=1, 2, \ldots, n$

Quindi puoi dimostrarlo

β_{ridge} = \sum_{i = 1}^{n} \frac{σ_{i}^{2}}{σ_{i}^{2} + λ} \frac{1}{σ_{i}} (u_{i}^{T} y) v_{i} .

$\beta_{\mbox{ridge}}=\sum_{i=1}^{n} \frac{\sigma_{i}^{2}}{\sigma_{i}^{2}+\lambda}\frac{1}{\sigma_{i}} (u_{i}^{T}y) v_{i}.$

Ora, considera i "fattori filtro" . Se , i fattori di filtro sono 1 e otteniamo la soluzione dei minimi quadrati convenzionale. Se e , il fattore filtro è essenzialmente 1. Se , questo fattore è essenzialmente 0. Pertanto, i termini corrispondenti agli autovalori piccoli vengono effettivamente eliminati, mentre quelli corrispondenti agli autovalori più grandi vengono mantenuti. $\sigma_{i}^{2}/(\sigma_{i}^{2}+\lambda)$ $\lambda=0$ $\lambda > 0$ $\sigma_{i}^{2} \gg \lambda$ $\sigma_{i}^{2} \ll \lambda$

In confronto, la regressione dei componenti principali utilizza semplicemente i fattori 1 (per gli autovalori più grandi) o 0 (per gli autovalori più piccoli che vengono eliminati) in questa formula.

— Brian Borchers
fonte

1

Questo è esattamente ciò a cui ho fatto brevemente riferimento nella mia risposta, ma è molto bello averlo elaborato e dimostrato matematicamente, +1.

— ameba dice di reintegrare Monica il

5

$X$ $X$

λ x + y = κ (α x + (1 - α) y),

$\lambda x + y = \kappa \left( \alpha x + (1-\alpha) y\right),$

α = \frac{λ}{1 + λ}

$\alpha=\frac{\lambda}{1+\lambda}$

κ = 1 + λ

$\kappa = 1+\lambda$

0 \leq λ < + \infty

$0 \leq \lambda < + \infty$

0 < α \leq 1

$0 < \alpha \leq 1$

La tecnica che descrivi come "attacco [ing] solo i valori singolari o quasi singolari" è anche nota come Analisi dello spettro singolare (ai fini della regressione lineare) (vedi Eq. 19), se per "attaccare" intendi "rimuovere ". La covarianza incrociata è invariata.

$X$

— Vincent Guillemot
fonte

Grazie. Nella PCR la covarianza con y viene calcolata dopo l'esecuzione della riduzione della dimensione, no? È questa la differenza tra PCR e SSA? La tua gamma (non la mia), come fai a selezionarla affinché l'alfa sarà [0,1] limitata?

— Cagdas Ozgenc,

1

γ

$\gamma$

κ

$\kappa$

Penso che tu abbia ragione sulla differenza tra SSA e PCR, dovremmo scriverlo per essere sicuro, però.

— Vincent Guillemot,