Il limite dello stimatore della regressione della cresta "varianza unitaria" quando

Considera la regressione della cresta con un vincolo aggiuntivo che richiede che abbia la somma unitaria dei quadrati (equivalentemente, varianza unitaria); se necessario, si può presumere che abbia anche la somma unitaria dei quadrati: $\hat{\mathbf y}$ $\mathbf y$

{\hat{β}}_{λ}^{*} = \arg min {‖ y - X β ‖^{2} + λ ‖ β ‖^{2}} s.t. ‖ X β ‖^{2} = 1.

$\hat{\boldsymbol\beta}_\lambda^* = \arg\min\Big\{\|\mathbf y - \mathbf X \boldsymbol \beta\|^2+\lambda\|\boldsymbol\beta\|^2\Big\} \:\:\text{s.t.}\:\: \|\mathbf X \boldsymbol\beta\|^2=1.$

Qual è il limite di $\hat{\boldsymbol\beta}_\lambda^*$ quando $\lambda\to\infty$ ?

Ecco alcune affermazioni che credo siano vere:

Quando $\lambda=0$ , esiste una chiara soluzione esplicita: prendere lo stimatore OLS $\hat{\boldsymbol\beta}_0=(\mathbf X^\top \mathbf X)^{-1}\mathbf X^\top \mathbf y$ normalizzalo per soddisfare il vincolo (puoi vederlo aggiungendo un moltiplicatore di Lagrange e differenziandolo):
${\hat{β}}_{0}^{*} = {\hat{β}}_{0} / ‖ X {\hat{β}}_{0} ‖ .$ $\hat{\boldsymbol\beta}_0^* = \hat{\boldsymbol\beta}_0 \big/ \|\mathbf X\hat{\boldsymbol\beta}_0\|.$
In generale, la soluzione è
${\hat{β}}_{λ}^{*} = ((1 + μ) X^{⊤} X + λ I)^{- 1} X^{⊤} y with μ needed to satisfy the constraint .$ $\hat{\boldsymbol\beta}_\lambda^*=\big((1+\mu)\mathbf X^\top \mathbf X + \lambda \mathbf I\big)^{-1}\mathbf X^\top \mathbf y\:\:\text{with $\mu$ needed to satisfy the constraint}.$ Non vedo una soluzione in formato chiuso quando $\lambda >0$ . Sembra che la soluzione sia equivalente al solito stimatore RR con alcuni $\lambda^*$ normalizzati per soddisfare il vincolo, ma non vedo una formula chiusa per $\lambda^*$ .
Quando $\lambda\to \infty$ , il solito stimatore RR
${\hat{β}}_{λ} = (X^{⊤} X + λ I)^{- 1} X^{⊤} y$ $\hat{\boldsymbol\beta}_\lambda=(\mathbf X^\top \mathbf X + \lambda \mathbf I)^{-1}\mathbf X^\top \mathbf y$ ovviamente converge a zero, ma la sua direzione $\hat{\boldsymbol\beta}_\lambda \big/ \|\hat{\boldsymbol\beta}_\lambda\|$ converge nella direzione di $\mathbf X^\top \mathbf y$ , ovvero il primo componente parziale dei minimi quadrati (PLS).

Le dichiarazioni (2) e (3) insieme mi fanno pensare che forse $\hat{\boldsymbol\beta}_\lambda^*$ converge anche nel opportunamente normalizzato $\mathbf X^\top \mathbf y$ , ma non sono sicuro che questo è corretto e non sono riuscito a convincermi in entrambi i modi.

— ameba dice Reinstate Monica
fonte

Risposte:

Un'interpretazione geometrica

Lo stimatore descritto nella domanda è l'equivalente del moltiplicatore di Lagrange del seguente problema di ottimizzazione:

minimize f (β) subject to g (β) \leq t and h (β) = 1

$\text{minimize $f(\beta)$ subject to $g(\beta) \leq t$ and $h(\beta) = 1$ }$

\begin{aligned} f (β) & = ‖ y - X β ‖^{2} \\ g (β) & = ‖ β ‖^{2} \\ h (β) & = ‖ X β ‖^{2} \end{aligned}

$\begin{align} f(\beta) &= \lVert y-X\beta \lVert^2 \\ g(\beta) &= \lVert \beta \lVert^2\\ h(\beta) &= \lVert X\beta \lVert^2 \end{align}$

che può essere visto, geometricamente, come trovare l'ellissoide più piccolo che tocca l'intersezione della sfera l'ellissoide $f(\beta)=\text{RSS }$ $g(\beta) = t$ $h(\beta)=1$

Confronto con la vista di regressione della cresta standard

In termini di una vista geometrica, ciò cambia la vecchia vista (per la regressione della cresta standard) del punto in cui uno sferoide (errori) e una sfera ( ) toccano $\|\beta\|^2=t$ . In una nuova vista in cui cerchiamo il punto in cui lo sferoide (errori) tocca una curva (norma della beta vincolata da ) . L'unica sfera (blu nell'immagine a sinistra) si trasforma in una figura di dimensione inferiore a causa dell'intersezione con il vincolo . $\|X\beta\|^2=1$ $\|X\beta\|=1$

Nel caso bidimensionale questo è semplice da visualizzare.

Quando mettiamo a punto il parametro , cambiamo la lunghezza relativa delle sfere blu / rosse o le dimensioni relative di e (Nella teoria dei moltiplicatori lagrangiani c'è probabilmente un modo pulito per formalmente e descriviamo esattamente che ciò significa che per ogni come funzione di , o invertita, è una funzione monotona, ma immagino che si possa vedere intuitivamente che la somma dei residui quadrati aumenta solo quando diminuiamo .) $t$ $f(\beta)$ $g(\beta)$ $t$ $\lambda$ $||\beta||$

La soluzione per è come hai sostenuto su una linea tra 0 e $\beta_\lambda$ $\lambda=0$ $\beta_{LS}$

La soluzione per è (anzi come hai commentato) nei caricamenti del primo componente principale. Questo è il punto in cui è il più piccolo per . È il punto in cui il cerchio tocca l'ellisse in un singolo punto. $\beta_\lambda$ $\lambda \to \infty$ $\lVert \beta \rVert^2$ $\lVert \beta X \rVert^2 = 1$ $\lVert \beta \rVert^2=t$ $|X\beta|=1$

In questa vista i bordi dell'intersezione della sfera sferoide sono punti. In più dimensioni queste saranno curve $\lVert \beta \rVert^2 =t$ $\lVert \beta X \rVert^2 = 1$

(Ho immaginato prima che queste curve fossero ellissi ma sono più complicate. Potresti immaginare l'ellissoide intersecato dalla palla come alcuni una specie di frustum ellissoidale ma con bordi che non sono semplici ellissi) $\lVert X \beta \rVert^2 = 1$ $\lVert \beta \rVert^2 \leq t$

Per quanto riguarda il limite da $\lambda \to \infty$

All'inizio (modifiche precedenti) ho scritto che ci sarà qualche limite al sopra il quale tutte le soluzioni sono uguali (e risiedono nel punto ). Ma non è così $\lambda_{lim}$ $\beta^*_\infty$

Considera l'ottimizzazione come un algoritmo LARS o una discesa gradiente. Se per qualsiasi punto esiste una direzione in cui possiamo modificare la tale che il termine di penalità aumenti meno del termine SSR diminuisca, allora non sei minimamente . $\beta$ $\beta$ $|\beta|^2$ $|y-X\beta|^2$

Nella normale regressione della cresta si ha una pendenza zero (in tutte le direzioni) per nel punto . Quindi per tutti i finiti la soluzione non può essere (poiché è possibile effettuare un passo infinitesimale per ridurre la somma dei residui quadrati senza aumentare la penalità). $|\beta|^2$ $\beta=0$ $\lambda$ $\beta = 0$
Per LASSO non è più la stessa: la penalità è (quindi non è quadratica con pendenza zero). Per questo motivo LASSO avrà un valore limite sopra del quale tutte le soluzioni sono zero perché il termine di penalità (moltiplicato per ) aumenterà più della diminuzione della somma residua dei quadrati. $\lvert \beta \rvert_1$ $\lambda_{lim}$ $\lambda$
Per la cresta vincolata si ottiene la stessa regressione della cresta normale. Se cambi partire da questa modifica sarà perpendicolare a ( è perpendicolare alla superficie dell'ellisse ) e possono essere modificati con un passo infinitesimale senza cambiare il termine di penalità ma diminuendo la somma dei residui quadrati. Quindi per qualsiasi finito il punto non può essere la soluzione. $\beta$ $\beta^*_\infty$ $\beta$ $\beta^*_\infty$ $|X\beta|=1$ $\beta$ $\lambda$ $\beta^*_\infty$

Ulteriori note relative al limite da $\lambda \to \infty$

Il solito limite di regressione della cresta per all'infinito corrisponde a un punto diverso nella regressione della cresta vincolata. Questo limite 'vecchio' corrisponde al punto in cui è uguale a -1. Quindi la derivata della funzione di Lagrange nel problema normalizzato $\lambda$ $\mu$

$2 (1 + μ) X^{T} X β + 2 X^{T} y + 2 λ β$ $2 (1+\mu) X^{T}X \beta + 2 X^T y + 2 \lambda \beta$ corrisponde a una soluzione per la derivata della funzione di Lagrange nel problema standard

$2 X^{T} X β^{'} + 2 X^{T} y + 2 \frac{λ}{(1 + μ)} β^{'} with β^{'} = (1 + μ) β$ $2 X^{T}X \beta^\prime + 2 X^T y + 2 \frac{\lambda}{(1+\mu)} \beta^\prime \qquad \text{with $\beta^\prime = (1+\mu)\beta$}$

Scritto da StackExchangeStrike

— Sesto Empirico
fonte

+1. Grazie mille, è molto utile! Avrò bisogno di un po 'di tempo per pensarci su.

— ameba dice di reintegrare Monica il

Vale la pena sottolineare che gli ellissoidi rossi e neri hanno la stessa forma: ecco perché il punto in cui si toccano si trova sulla linea che collega i loro centri. Bella prova grafica del punto 1 nella mia domanda.

— ameba dice Reinstate Monica il

Sto cercando di capire dove sul tuo disegno è la beta che corrisponde allo stimatore di cresta con lambda infinita, normalizzata per giacere sull'ellisse nera. Penso che sia da qualche parte tra e (usando la mia notazione) - due punti che sono segnati con cerchi neri aperti sul tuo disegno. Quindi se eseguiamo la regressione della cresta e normalizziamo la soluzione e aumentiamo la lambda da 0 a infinito, probabilmente ci porta lungo lo stesso arco, ma non completamente fino a PC1. Invece, inserendo esplicitamente il vincolo , fa sì che le soluzioni vadano fino al PC1.

β_{0}^{*}

$\beta_0^*$

β_{\infty}^{*}

$\beta_\infty^*$

‖ X β ‖ = 1

$\|X\beta\|=1$

— ameba dice di reintegrare Monica il

+5 (ho lanciato una taglia che assegnerò felicemente alla tua risposta). Ho anche pubblicato la mia risposta perché ho fatto alcune derivazioni algebriche ed era troppo da aggiungere alla domanda. Non sono convinto dalla tua conclusione che ci sarà qualche finito dopo il quale la soluzione non cambierà più e sarà data da PC1. Non lo vedo algebricamente e non capisco bene la tua tesi sul perché dovrebbe esistere. Proviamo a capirlo.

λ_{lim}

$\lambda_\text{lim}$

— ameba dice di reintegrare Monica il

@amoeba, avevi ragione sul finito inesistente. Ho discusso troppo intuitivamente e sono passato rapidamente da una condizione particolare per la regressione della cresta regolare alla regressione della cresta vincolata. RR regolare ha una pendenza zero (in tutte le direzioni) per nel punto . Ho pensato che (poiché ) non si ottiene questo con la regressione vincolata. Tuttavia perché è vincolato all'ellissoide non puoi "spostare" in tutte le direzioni.

λ_{lim}

$\lambda_{\lim}$

| β |^{2}

$|\beta|^2$

β = 0

$\beta = 0$

β_{\infty}^{*} \neq 0

$\beta^*_\infty \neq 0$

β

$\beta$

| X β | = 1

$|X\beta| =1$

β

$\beta$

— Sesto Empirico

Questa è una controparte algebrica della bella risposta geometrica di @ Martijn.

Innanzitutto, il limite di quando è molto semplice da ottenere: nel limite, il primo termine nella funzione di perdita diventa trascurabile e può quindi essere ignorato. Il problema di ottimizzazione diventa che è il primo componente principale di

{\hat{β}}_{λ}^{*} = \arg min {‖ y - X β ‖^{2} + λ ‖ β ‖^{2}} s.t. ‖ X β ‖^{2} = 1

$\hat{\boldsymbol\beta}_\lambda^* = \arg\min\Big\{\|\mathbf y - \mathbf X \boldsymbol \beta\|^2+\lambda\|\boldsymbol\beta\|^2\Big\} \:\:\text{s.t.}\:\: \|\mathbf X \boldsymbol\beta\|^2=1$

λ \to \infty

$\lambda\to\infty$

lim_{λ \to \infty} {\hat{β}}_{λ}^{*} = {\hat{β}}_{\infty}^{*} = \underset{‖ X β ‖^{2} = 1}{a r g m i n} ‖ β ‖^{2} \sim \underset{‖ β ‖^{2} = 1}{a r g m a x} ‖ X β ‖^{2},

$\lim_{\lambda\to\infty}\hat{\boldsymbol\beta}_\lambda^* = \hat{\boldsymbol\beta}_\infty^* = \operatorname*{arg\,min}_{\|\mathbf X \boldsymbol\beta\|^2=1}\|\boldsymbol\beta\|^2 \sim \operatorname*{arg\,max}_{\| \boldsymbol\beta\|^2=1}\|\mathbf X\boldsymbol\beta\|^2,$

X

$\mathbf X$ (opportunamente ridimensionato). Questo risponde alla domanda.

Consideriamo ora la soluzione per qualsiasi valore di cui ho fatto riferimento al punto 2 della mia domanda. Aggiungendo alla funzione di perdita il moltiplicatore di Lagrange e differenziando, otteniamo $\lambda$ $\mu(\|\mathbf X\boldsymbol\beta\|^2-1)$

{\hat{β}}_{λ}^{*} = ((1 + μ) X^{⊤} X + λ I)^{- 1} X^{⊤} y with μ needed to satisfy the constraint .

$\hat{\boldsymbol\beta}_\lambda^*=\big((1+\mu)\mathbf X^\top \mathbf X + \lambda \mathbf I\big)^{-1}\mathbf X^\top \mathbf y\:\:\text{with $\mu$ needed to satisfy the constraint}.$

Come si comporta questa soluzione quando cresce da zero a infinito? $\lambda$

Quando , otteniamo una versione ridimensionata della soluzione OLS: $\lambda=0$
${\hat{β}}_{0}^{*} \sim {\hat{β}}_{0} .$ $\hat{\boldsymbol\beta}_0^* \sim \hat{\boldsymbol\beta}_0.$
Per valori positivi ma piccoli di , la soluzione è una versione ridimensionata di alcuni stimatori di creste: $\lambda$
${\hat{β}}_{λ}^{*} \sim {\hat{β}}_{λ^{*}} .$ $\hat{\boldsymbol\beta}_\lambda^* \sim \hat{\boldsymbol\beta}_{\lambda^*}.$
Quando, il valore di necessario per soddisfare il vincolo è . Ciò significa che la soluzione è una versione ridimensionata del primo componente PLS (il che significa che dello stimatore della cresta corrispondente è ): $\lambda=\|\mathbf X\mathbf X^\top \mathbf y\|$ $(1+\mu)$ $0$ $\lambda^*$ $\infty$
${\hat{β}}_{‖ X X^{⊤} y ‖}^{*} \sim X^{⊤} y .$ $\hat{\boldsymbol\beta}_{\|\mathbf X\mathbf X^\top \mathbf y\|}^* \sim \mathbf X^\top \mathbf y.$
Quando diventa più grande di quello, il termine necessario diventa negativo. D'ora in poi, la soluzione è una versione ridimensionata di uno stimatore pseudo-cresta con parametro di regolarizzazione negativo ( cresta negativa ). In termini di direzioni, ora abbiamo superato la regressione della cresta con lambda infinita. $\lambda$ $(1+\mu)$
Quando , il termine andrebbe a zero (o diverge in infinito) a meno che dove è il valore singolare più grande di . Ciò renderà finito e proporzionato al primo asse principale . Dobbiamo impostare per soddisfare il vincolo. Pertanto, otteniamo quel $\lambda\to\infty$ $\big((1+\mu)\mathbf X^\top \mathbf X + \lambda \mathbf I\big)^{-1}$ $\mu = -\lambda/ s^2_\mathrm{max} + \alpha$ $s_\mathrm{max}$ $\mathbf X=\mathbf{USV}^\top$ $\hat{\boldsymbol\beta}_\lambda^*$ $\mathbf V_1$ $\mu = -\lambda/ s^2_\mathrm{max} + \mathbf U_1^\top \mathbf y -1$
${\hat{β}}_{\infty}^{*} \sim V_{1} .$ $\hat{\boldsymbol\beta}_\infty^* \sim \mathbf V_1.$

Complessivamente, vediamo che questo problema di minimizzazione limitata comprende le versioni di varianza unitaria di OLS, RR, PLS e PCA sul seguente spettro:

OLS \to RR \to PLS \to negative RR \to PCA

$\boxed{\text{OLS} \to \text{RR} \to \text{PLS} \to \text{negative RR} \to \text{PCA}}$

Questo sembra essere equivalente a un oscuro (?) Quadro di chemometria chiamato "regressione continua" (vedi https://scholar.google.de/scholar?q="continuum+regression " , in particolare Stone & Brooks 1990, Sundberg 1993, Björkström & Sundberg 1999, ecc.) Che consente la stessa unificazione massimizzando un criterio ad hocQuesto ovviamente produce OLS ridimensionato quando , PLS quando , PCA quando , e può essere mostrato che produce RR scalato per

T = {corr}^{2} (y, X β) \cdot {Var}^{γ} (X β) s.t. ‖ β ‖ = 1.

$\mathcal T = \operatorname{corr}^2(\mathbf y, \mathbf X \boldsymbol\beta)\cdot \operatorname{Var}^\gamma(\mathbf X\boldsymbol\beta) \;\;\text{s.t.}\;\;\|\boldsymbol\beta\|=1.$

γ = 0

$\gamma=0$

γ = 1

$\gamma=1$

γ \to \infty

$\gamma\to\infty$

0 < γ < 1

$0<\gamma<1$

1 < γ < \infty

$1<\gamma<\infty$ , vedi Sundberg 1993.

Pur avendo abbastanza esperienza con RR / PLS / PCA / ecc., Devo ammettere di non aver mai sentito parlare di "regressione continua" prima. Dovrei anche dire che non mi piace questo termine.

Uno schema che ho fatto basandomi su quello di @ Martijn:

Aggiornamento: Figura aggiornata con il percorso della cresta negativa, enorme grazie a @Martijn per aver suggerito come dovrebbe apparire. Vedi la mia risposta in Comprensione della regressione della cresta negativa per maggiori dettagli.

— ameba dice Reinstate Monica
fonte

La "regressione continua" sembra essere una di una categoria sorprendentemente ampia di tecniche volte a unificare PLS e PCA in un quadro comune. Non ne avevo mai sentito parlare, per inciso, fino a quando non ho fatto ricerche sulla cresta negativa (fornisco un link al documento di Bjorkstron e Sundberg, 1999, nel primo commento della domanda sulla cresta negativa a cui ti colleghi), sebbene sembri essere ampiamente discusso in la letteratura chemiometrica. Ci deve essere una ragione storica per cui si è sviluppata apparentemente in isolamento da altri campi della statistica. (1/3)

— Ryan Simmons

Un articolo che potresti voler leggere è de Jong et al. (2001) . La loro formulazione di "PLS canonico" sembra a prima vista equivalente alla tua, anche se ammetto di non aver ancora rigorosamente confrontato la matematica (forniscono anche una revisione di molte altre generalizzazioni di PLS-PCA nella stessa vena). Ma può essere perspicace vedere come hanno spiegato il problema. (2/3)

— Ryan Simmons

Nel caso in cui il collegamento dovesse scomparire, la citazione completa è: Sijmen de Jong, Barry M. Wise, N. Lawrence Ricker. "Minimi quadrati canonici e regressione di potenza continua." Journal of Chemometrics, 2001; 15: 85-100. doi.org/10.1002/… (3/3)

— Ryan Simmons

ah, ok, quindi e vanno a infinity ma il loro rapporto rimane . In ogni caso, il percorso di regressione della cresta negativa dovrebbe essere nel settore (negativo) tra i vettori PLS e PCA in modo tale che la loro proiezione sull'ellisseè compreso tra i punti PLS e PCA. (la norma che va all'infinito ha senso mentre anche il va all'infinito, quindi il percorso continua in basso a destra, inizialmente tangente a, negativo, PLS e infine a PCA)

λ^{*}

$\lambda^*$

1 + μ^{*}

$1+\mu^*$

\pm

$\pm$

s_{m a x}^{2}

$s_{max}^2$

| X β = 1 |

$|X\beta=1|$

μ

$\mu$

— Sisto Empirico

Si aggiungerebbe alla visualizzazione. Immagino che gli attuali tre punti del percorso RR (in cui il cerchio e l'ellissoide si toccano) continuino verso il basso a destra e alla fine, all'infinito, il cerchio e l'ellissoide dovrebbe 'toccare' in direzione del punto in cui il cerchio tocca l'ellissoide

| β |^{2} = t_{\infty}

$|\beta|^2=t_{\infty}$

| X (β - \hat{β}) |^{2} = R S S

$|X (\beta - \hat\beta)|^2 =RSS$

| β |^{2} = t_{p c a}

$|\beta|^2=t_{pca}$

| X β |^{2} = 1

$|X \beta|^2 =1$

— Sextus Empiricus

Il limite dello stimatore della regressione della cresta "varianza unitaria" quando

Un'interpretazione geometrica

Confronto con la vista di regressione della cresta standard

Per quanto riguarda il limite daλ→∞λ→∞\lambda \to \infty

Ulteriori note relative al limite daλ→∞λ→∞\lambda \to \infty

Per quanto riguarda il limite da $\lambda \to \infty$

Ulteriori note relative al limite da $\lambda \to \infty$