Come derivare la soluzione di regressione della cresta?

41

Sto riscontrando alcuni problemi con la derivazione della soluzione per la regressione della cresta.

Conosco la soluzione di regressione senza il termine di regolarizzazione:

β = (X^{T} X)^{- 1} X^{T} y .

$\beta = (X^TX)^{-1}X^Ty.$

Ma dopo aver aggiunto il termine L2 alla funzione di costo, come mai la soluzione diventa $\lambda\|\beta\|_2^2$

β = (X^{T} X + λ I)^{- 1} X^{T} y .

$\beta = (X^TX + \lambda I)^{-1}X^Ty.$

— user34790
fonte

24

È sufficiente modificare la funzione di perdita aggiungendo la penalità. In termini di matrice, la funzione di perdita quadratica iniziale diventa

(Y - X β)^{T} (Y - X β) + λ β^{T} β .

$(Y - X\beta)^{T}(Y-X\beta) + \lambda \beta^T\beta.$ La derivazione rispetto a

β

$\beta$ porta all'equazione normale

X^{T} Y = (X^{T} X + λ io) β

$X^{T}Y = \left(X^{T}X + \lambda I\right)\beta$ che porta allo stimatore di Ridge.

— Johnny
fonte

1

Come mai la derivata di

λ β^{T} β

$\lambda \beta^T \beta$ è uguale a

λ I β

$\lambda I \beta$

— user34790

4

@ user34790 Non lo è. È uguale a

2 λ β

$2\lambda\beta$ . Ma il 2 annulla con 2 simili simili sugli altri termini. Certo, il fattore

I

$I$ è come un fattore 1 nell'algebra "normale", puoi moltiplicarlo dove vuoi senza cambiare nulla.

— Bill

4

@ Bill: qui è necessario l' per ottenere una matrice di dimensione corretta per cui l'aggiunta lavora con : è solo uno scalare

I

$I$

X^{T} X

$X^TX$

λ

$\lambda$

— Henry

48

Costruiamo su ciò che sappiamo, ovvero che ogni volta che la matrice del modello è , la risposta -vector è e il parametro -vector è , la funzione obiettivo $n\times p$ $X$ $n$ $y$ $p$ $\beta$

f (β) = (y - X β)^{'} (y - X β)

$f(\beta) = (y - X\beta)^\prime(y - X\beta)$

(che è la somma dei quadrati dei residui) viene minimizzata quando risolve le equazioni normali $\beta$

(X^{'} X) β = X^{'} y .

$(X^\prime X)\beta = X^\prime y.$

La regressione della cresta aggiunge un altro termine alla funzione obiettivo (di solito dopo aver standardizzato tutte le variabili per metterle su una base comune), chiedendo di minimizzare

(y - X β)^{'} (y - X β) + λ β^{'} β

$(y - X\beta)^\prime(y - X\beta) + \lambda \beta^\prime \beta$

per alcune costanti non negative . È la somma dei quadrati dei residui più un multiplo della somma dei quadrati dei coefficienti stessi (rendendo evidente che ha un minimo globale). Poiché , ha una radice quadrata positiva . $\lambda$ $\lambda\ge 0$ $\nu^2 = \lambda$

Considera la matrice aumentata con righe corrispondenti a volte la matrice di identità : $X$ $\nu$ $p\times p$ $I$

X_{*} = (\begin{matrix} X \\ ν io \end{matrix})

$X_{*} = \pmatrix{X \\ \nu I}$

Quando il vettore viene similmente estesa con zeri alla fine per , il prodotto matrice nella funzione obiettivo aggiunge ulteriori termini della forma all'obiettivo originale. Perciò $y$ $p$ $y_{*}$ $p$ $(0 - \nu \beta_i)^2 = \lambda \beta_i^2$

(y_{*} - X_{*} β)^{'} (y_{*} - X_{*} β) = (y - X β)^{'} (y - X β) + λ β^{'} β .

$(y_{*} - X_{*}\beta)^\prime(y_{*} - X_{*}\beta) = (y - X\beta)^\prime(y - X\beta) + \lambda \beta^\prime \beta.$

Dalla forma dell'espressione della mano sinistra è immediato che le equazioni normali siano

(X_{*}^{'} X_{*}) β = X_{*}^{'} y_{*} .

$(X_{*}^\prime X_{*})\beta = X_{*}^\prime y_{*}.$

Poiché abbiamo annesso zeri alla fine di , il lato destro è uguale a . Sul lato sinistro è aggiunto a quello originale . Pertanto le nuove equazioni normali si semplificano $y$ $X^\prime y$ $\nu^2 I=\lambda I$ $X^\prime X$

(X^{'} X + λ io) β = X^{'} y .

$(X^\prime X + \lambda I)\beta = X^\prime y.$

Oltre ad essere concettualmente economico - non sono necessarie nuove manipolazioni per ottenere questo risultato - è anche computazionalmente economico: il tuo software per fare i minimi quadrati ordinari farà anche regressione cresta senza alcun cambiamento. (Tuttavia, può essere utile in grossi problemi usare software progettato per questo scopo, perché sfrutterà la struttura speciale di per ottenere risultati efficienti per un intervallo densamente spaziato di , permettendoti di esplorare come variano le risposte con .) $X_{*}$ $\lambda$ $\lambda$

Un'altra bellezza di questo modo di vedere le cose è come può aiutarci a capire la regressione della cresta. Quando vogliamo capire veramente la regressione, aiuta quasi sempre a pensarci bene geometricamente: le colonne di costituiscono vettori in un vero e proprio spazio vettoriale di dimensione . Adiacente a , prolungandoli così da -vettori a -vettori, stiamo incorporando in uno spazio più ampio includendo direzioni "immaginarie", reciprocamente ortogonali. La prima colonna di $X$ $p$ $n$ $\nu I$ $X$ $n$ $n+p$ $\mathbb{R}^n$ $\mathbb{R}^{n+p}$ $p$ $X$ viene dato un piccolo componente immaginario di size , allungandolo in tal modo e spostandolo dallo spazio generato dalle colonne originali . Le colonne secondo, terzo, ..., sono analogamente allungate e spostate dallo spazio originale della stessa quantità - ma tutte in nuove direzioni diverse. Di conseguenza, qualsiasi collinearità presente nelle colonne originali verrà immediatamente risolta. Inoltre, il più grande diventa, più questi nuovi vettori avvicinano l'individuo $\nu$ $p$ $p^\text{th}$ $\nu$ $\nu$ $p$ direzioni immaginarie: diventano sempre più ortonormali. Di conseguenza, la soluzione delle equazioni normali diventerà immediatamente possibile e diventerà rapidamente numericamente stabile all'aumentare di da . $\nu$ $0$

Questa descrizione del processo suggerisce alcuni approcci innovativi e creativi per affrontare i problemi che Ridge Regressione è stato progettato per gestire. Ad esempio, usando qualsiasi mezzo (come la decomposizione della varianza descritta da Belsley, Kuh e Welsch nel loro libro del 1980 su Regressione Diagnostics , Capitolo 3), potresti essere in grado di identificare sottogruppi di colonne quasi collineari di , dove ogni sottogruppo è quasi ortogonale a tutti gli altri. Hai solo bisogno adjoin tante righe per (e zero per ) in quanto non vi sono elementi nel gruppo più numeroso, dedicando una nuova dimensione "immaginario" per spostare ogni elemento di un gruppo di distanza dai suoi fratelli: non è necessario immaginaria dimensioni per farlo. $X$ $X$ $y$ $p$

— whuber
fonte

2

L'ultimo autore del libro è Welsch, non gallese.

— Mark L. Stone,

1

Whoa, questo mi ha fatto impazzire. C'è qualche discussione su cosa succede quando questo è generalizzato al di fuori dei modelli lineari, vale a dire a quelli di glm? La penalità non dovrebbe essere la stessa della regressione della cresta ... ma questa interpretazione implica che sarebbe ancora un potenziale stimatore utile!

— Cliff AB,

2

@Cliff È un suggerimento molto interessante. Poiché, tuttavia, le stime GLM dipendono in modo più complicato da e i loro stimatori di solito non possono essere fattorizzati nella forma come lo sono per OLS (dove e ), può essere difficile stabilire un rapporto utile tra imporre funzione di penalità e modificando le colonne di . In particolare, non è chiaro come i valori in dovrebbero essere aumentati per far funzionare questo.

X

$X$

\hat{β} = g (X) \cdot h (y)

$\hat\beta = g(X)\cdot h(y)$

g (X) = (X^{'} X)^{- 1} X^{'}

$g(X)=(X^\prime X)^{-1}X^\prime$

h (y) = y

$h(y)=y$

X

$X$

y

$y$

— whuber

1

Sì, ci vorrebbe un po 'di tempo per provare a stabilire quale sia la penalità, ma non sono così preoccupato. L'idea di quale usare non è generalmente facile neanche ... tranne forse nel caso della regressione logistica, dove potremmo aggiungere due ; uno di 0 e uno di 1. Questo aumento sarebbe quindi una versione più generale dello "+2 stimatore binomiale" (esiste un nome più appropriato per questo stimatore su cui mi sto nascondendo, che è fondamentalmente quando si sta valutando da una distribuzione binomiale usando la media posteriore come la stima con un'uniforme precedente a ).

y_{*}

$y_*$

y_{*}

$y_*$

p

$p$

p

$p$

— Cliff AB,

@Mark Grazie per la correzione. Puoi dire che stavo andando dalla memoria ... :-).

— whuber

20

La derivazione include il calcolo della matrice, che può essere abbastanza noioso. Vorremmo risolvere il seguente problema:

min_{β} (Y - β^{T} X)^{T} (Y - β^{T} X) + λ β^{T} β

$\begin{equation} \min_\beta (Y-\beta^T X)^T(Y-\beta^T X)+\lambda \beta^T \beta \end{equation}$

Ora nota che e Insieme arriviamo alla condizione del primo ordine isolamento produce la soluzione:

\frac{\partial (Y - β^{T} X)^{T} (Y - β^{T} X)}{\partial β} = - 2 X^{T} (Y - β^{T} X)

$\begin{equation} \frac{\partial (Y-\beta^T X)^T (Y-\beta^T X)}{\partial \beta}=-2X^T(Y-\beta^T X) \end{equation}$

\frac{\partial λ β^{T} β}{\partial β} = 2 λ β .

$\begin{equation} \frac{\partial \lambda \beta^T \beta}{\partial \beta}=2\lambda\beta. \end{equation}$

X^{T} Y = X^{T} X β + λ β .

$\begin{equation} X^TY = X^TX\beta + \lambda\beta. \end{equation}$

β

$\beta$

β = (X^{T} X + λ io)^{- 1} X^{T} Y .

$\begin{equation} \beta = (X^TX+ \lambda I )^{-1}X^T Y. \end{equation}$

— pthesling
fonte

9

Di recente mi sono imbattuto nella stessa domanda nel contesto di P-Splines e poiché il concetto è lo stesso, voglio dare una risposta più dettagliata sulla derivazione dello stimatore della cresta.

Iniziamo con una funzione di criterio penalizzata che differisce dalla classica funzione di criterio OLS per il suo termine di penalizzazione nell'ultimo summand:

$Criterion_{Ridge} = \sum_{i=1}^{n}(y_i-x_i^T\beta)^2 + \lambda \sum_{j=1}^p\beta_j^2$

dove

$p=$ la quantità di covariabili utilizzate nel modello
$x_i^T\beta =$ tuo predittore lineare standard
il primo summand rappresenta l'MSE (divergenza quadrata della previsione dal valore reale) che vogliamo minimizzare come al solito
il secondo summand rappresenta la penalizzazione che applichiamo ai coefficienti. Eccoci nel contesto della cresta che implica una misura della distanza euclidea e quindi il grado di 2 nel termine di penalizzazione. Nel caso di una penalizzazione del lazo, applicheremmo un grado di 1 e produrremmo uno stimatore totalmente diverso.

Possiamo riscrivere questo criterio in notazione a matrice e scomporlo ulteriormente:

$Criterion_{Ridge} = (y-X\beta)^T(y-X\beta) + \lambda\beta^T\beta$

$= y^Ty - \beta^TX^Ty - y^TX\beta+ \beta^Tx^TX\beta + \lambda\beta^T\beta$

$= y^Ty - \beta^TX^Ty - \beta^TX^Ty + \beta^TX^TX\beta + \beta^T\lambda I\beta$ con essendo la matrice identità $I$

$= y^Ty - 2\beta^TX^Ty + \beta^T(X^TX + \lambda I)\beta$

Ora cerchiamo la che minimizza il nostro criterio. Tra gli altri utilizziamo la regola di differenziazione della matrice che possiamo applica qui come : $\beta$ $\frac{\partial x^TAx}{\partial x} = (A+A^T)x \overset{\text{A symmetric}}{=} 2Ax$ $(X^TX + \lambda I) \in \mathbb{R}^{n \times n}$

$\frac{\partial Criterion_{Ridge} }{\partial\beta} = -2X^Ty + 2(X^TX + \lambda I)\beta \overset{!}{=}0$

$(X^TX + \lambda I)\beta = X^Ty$

$\overset{\text{et voilà}}{\Rightarrow} \hat\beta = (X^TX + \lambda I)^{-1} X^Ty$

— Jann Goschenhofer
fonte

@Jahn, puoi spiegare come diventato ? Penso che tu abbia appena applicato il recepimento, giusto. Ma non puoi semplicemente applicare la trasposizione su un termine senza applicarlo su tutte le equazioni. Cosa mi sto perdendo qui?

y^{T} X β

$y^TX\beta$

β^{T} X^{T} y

$\beta ^TX^Ty$

— teatrista,

1

@theateist Uno scalare trasposto è lo stesso scalare.

— Konstantin,

2

Ci sono alcune cose importanti che mancano nelle risposte fornite.

La soluzione per deriva dalla condizione necessaria del primo ordine: che produce . Ma è sufficiente? Cioè, la soluzione è un minimo globale solo se è strettamente convesso. Questo può essere dimostrato essere vero. $\beta$ $\frac{\partial f_{ridge}(\beta, \lambda)}{\partial \beta} = 0$ $\beta = (X^TX+ \lambda I )^{-1}X^T Y$ $f_{ridge}(\beta, \lambda)$
Un altro modo di esaminare il problema è vedere l'equivalenza tra e vincolato a . OLS è l'acronimo di Ordinary Least Squares. Da questa prospettiva è solo la funzione lagrangiana utilizzata per trovare i minimi globali della funzione dell'obiettivo convesso vincolata alla funzione convessa . $f_{ridge}(\beta, \lambda)$ $f_{OLS}(\beta) = (Y-\beta^T X)^T(Y-\beta^T X)$ $||\beta||^2_2 \leq t$ $f_{ridge}(\beta, \lambda)$ $f_{OLS}(\beta)$ $||\beta||^2_2$

Una buona spiegazione di questi punti e la derivazione di possono trovare in queste belle note di lezione: http://math.bu.edu/people/cgineste/classes/ma575/p/w14_1.pdf $\beta$

— Davor Josipovic
fonte