Mostrando l'equivalenza tra il Norm regolarizzata regressione e Norm Constrained Regressione Utilizzando KKT

Secondo i riferimenti libro 1 , libro 2 e carta .

È stato menzionato che esiste un'equivalenza tra la regressione regolarizzata (Ridge, LASSO e Elastic Net) e le loro formule di vincolo.

Ho anche esaminato Cross Validated 1 e Cross Validated 2 , ma non riesco a vedere una risposta chiara che mostri l'equivalenza o la logica.

La mia domanda è

Come mostrare tale equivalenza usando Karush – Kuhn – Tucker (KKT)?

Le seguenti formule sono per la regressione di Ridge.

NOTA

Questa domanda non è un compito. È solo per aumentare la mia comprensione di questo argomento.

AGGIORNARE

Non ho ancora avuto l'idea.

— jeza
fonte

Perché hai bisogno di più di 1 risposta? La risposta attuale sembra rispondere alla domanda in modo completo. Se vuoi saperne di più sui metodi di ottimizzazione, Convex Optimization Lieven Vandenberghe e Stephen P. Boyd è un buon punto di partenza.

— Sycorax dice di reintegrare Monica il

@Sycorax, grazie per i tuoi commenti e per il libro che mi hai fornito. La risposta non è così chiara per me e non posso chiedere ulteriori chiarimenti. Pertanto, più di una risposta può farmi vedere una prospettiva e un modo di descrivere diversi.

— Jeza,

@jeza, cosa manca nella mia risposta?

— Royi,

Digita la tua domanda come testo, non solo pubblicare una fotografia (vedi qui ).

— gung - Ripristina Monica

Risposte:

La risposta più tecnica è perché il problema di ottimizzazione vincolata può essere scritto in termini di moltiplicatori di Lagrange. In particolare, il lagrangiano associato al problema di ottimizzazione vincolata è dato da dove è un moltiplicatore scelto per soddisfare i vincoli del problema. Le condizioni del primo ordine (che sono sufficienti poiché si stanno lavorando con funzioni convesse adeguate) per questo problema di ottimizzazione possono quindi essere ottenute differenziando il lagrangiano rispetto a

L (β) = \underset{β}{un' r g m io n} {Σ_{io = 1}^{N} {(y_{io} - Σ_{j = 1}^{p} X_{io j} β_{j})}^{2}} + μ {(1 - α) Σ_{j = 1}^{p} | β_{j} | + α Σ_{j = 1}^{p} β_{j}^{2}}

$\mathcal L(\beta) = \underset{\beta}{\mathrm{argmin}}\,\left\{\sum_{i=1}^N \left(y_i - \sum_{j=1}^p x_{ij} \beta_j\right)^2\right\} + \mu \left\{(1-\alpha) \sum_{j=1}^p |\beta_j| + \alpha \sum_{j=1}^p \beta_j^2\right\}$

μ

$\mu$

β

$\beta$ e impostare le derivate pari a 0 (è un po 'più sfumato poiché la parte LASSO ha punti indifferenti, ma ci sono metodi dall'analisi convessa per generalizzare la derivata per far funzionare ancora la condizione del primo ordine). È chiaro che queste condizioni del primo ordine sono identiche alle condizioni del primo ordine del problema non vincolato che hai annotato.

Tuttavia, penso che sia utile capire perché, in generale, con questi problemi di ottimizzazione, è spesso possibile pensare al problema o attraverso l'obiettivo di un problema di ottimizzazione vincolato o attraverso l'obiettivo di un problema non vincolato. Più concretamente, supponiamo di avere un problema di ottimizzazione senza nella seguente forma: Possiamo sempre provare a risolvere direttamente questa ottimizzazione, ma a volte potrebbe avere senso rompere questo problema in sottocomponenti. In particolare, non è difficile vedere che Quindi per un valore fisso di

max_{X} f (X) + λ g (X)

$\max_x f(x) + \lambda g(x)$

max_{X} f (X) + λ g (X) = max_{t} (max_{X} f (X) S . t g (X) = t) + λ t

$\max_x f(x) + \lambda g(x) = \max_t \left(\max_x f(x)\ \mathrm{ s.t }\ g(x) = t\right) + \lambda t$

λ

$\lambda$ (e supponendo che le funzioni da ottimizzare raggiungano effettivamente il loro optima), possiamo associarvi un valore che risolve il problema di ottimizzazione esterna. Questo ci dà una sorta di mappatura da problemi di ottimizzazione senza vincoli a problemi vincolati. Nella tua impostazione particolare, poiché tutto è ben comportato per la regressione della rete elastica, questa mappatura dovrebbe in effetti essere una a una, quindi sarà utile poter passare tra questi due contesti a seconda di quale è più utile per una particolare applicazione. In generale, questa relazione tra problemi vincolati e non vincolati può essere meno ben condotta, ma può essere comunque utile pensare fino a che punto è possibile spostarsi tra il problema vincolato e quello non vincolato.

t^{*}

$t^*$

Modifica: come richiesto, includerò un'analisi più concreta per la regressione della cresta, poiché cattura le idee principali evitando di dover affrontare i tecnicismi associati alla non differenziabilità della penalità LASSO. Ricordiamo, stiamo risolvendo il problema di ottimizzazione (in notazione matriciale):

\underset{β}{un' r g m io n} {Σ_{io = 1}^{N} y_{io} - X_{io}^{T} β} S . t . | | β | |^{2} \leq M

$\underset{\beta}{\mathrm{argmin}} \left\{\sum_{i=1}^N y_i - x_i^T \beta\right\}\quad\mathrm{s.t.}\, ||\beta||^2 \leq M$

Sia la soluzione OLS (ovvero quando non vi sono vincoli). Quindi mi concentrerò sul caso in cui(a condizione che esista) poiché altrimenti, il vincolo non è interessante poiché non vincola. Il lagrangiano per questo problema può essere scritto Quindi , differenziando , otteniamo le condizioni del primo ordine: che è solo un sistema di equazioni lineari e quindi può essere risolto: $\beta^{OLS}$ $M < \left|\left|\beta^{OLS}\right|\right|$

L (β) = \underset{β}{un' r g m io n} {Σ_{io = 1}^{N} y_{io} - X_{io}^{T} β} - μ \cdot | | β | |^{2} \leq M

$\mathcal L(\beta) = \underset{\beta}{\mathrm{argmin}} \left\{\sum_{i=1}^N y_i - x_i^T \beta\right\} - \mu\cdot||\beta||^2 \leq M$

0 = - 2 (Σ_{io = 1}^{N} y_{io} X_{io} + (Σ_{io = 1}^{N} X_{io} X_{io}^{T} + μ io) β)

$0 = -2 \left(\sum_{i=1}^N y_i x_i + \left(\sum_{i=1}^N x_i x_i^T + \mu I\right) \beta\right)$

\hat{β} = {(Σ_{io = 1}^{N} X_{io} X_{io}^{T} + μ io)}^{- 1} (Σ_{io = 1}^{N} y_{io} X_{io})

$\hat\beta = \left(\sum_{i=1}^N x_i x_i^T + \mu I\right)^{-1}\left(\sum_{i=1}^N y_i x_i\right)$ per qualche scelta del moltiplicatore . Il moltiplicatore viene quindi semplicemente scelto per rendere vero il vincolo, cioè abbiamo bisogno

μ

$\mu$

{({(Σ_{io = 1}^{N} X_{io} X_{io}^{T} + μ io)}^{- 1} (Σ_{io = 1}^{N} y_{io} X_{io}))}^{T} ({(Σ_{io = 1}^{N} X_{io} X_{io}^{T} + μ io)}^{- 1} (Σ_{io = 1}^{N} y_{io} X_{io})) = M

$\left(\left(\sum_{i=1}^N x_i x_i^T + \mu I\right)^{-1}\left(\sum_{i=1}^N y_i x_i\right)\right)^T\left(\left(\sum_{i=1}^N x_i x_i^T + \mu I\right)^{-1}\left(\sum_{i=1}^N y_i x_i\right)\right) = M$ che esiste dal momento che LHS è monotonico in . Questa equazione fornisce una mappatura esplicita dai moltiplicatori ai vincoli, con quando esiste l'RHS e Questa mappatura corrisponde effettivamente a qualcosa di abbastanza intuitivo. Il teorema della busta ci dice che

μ

$\mu$

μ \in (0, \infty)

$\mu \in (0,\infty)$

M \in (0, | | β^{O L S} | |)

$M \in \left(0, \left|\left|\beta^{OLS}\right|\right|\right)$

lim_{μ \to 0} M (μ) = | | β^{O L S} | |

$\lim_{\mu\to 0} M(\mu) = \left|\left|\beta^{OLS}\right|\right|$

lim_{μ \to \infty} M (μ) = 0

$\lim_{\mu \to \infty} M(\mu) = 0$

μ (M)

$\mu(M)$ corrisponde alla diminuzione marginale errore che otteniamo da un piccolo rilassamento del vincolo . Questo spiega perché quando corrisponde a. Una volta che il vincolo non è vincolante, non c'è più alcun valore nel rilassarlo, motivo per cui il moltiplicatore svanisce.

M

$M$

μ \to 0

$\mu \to 0$

M \to | | β^{O L S} | |

$M \to \left|\right|\beta^{OLS}\left|\right|$

— stats_model
fonte

potresti per favore fornirci una risposta dettagliata passo dopo passo con un esempio pratico, se possibile.

— Jeza

molte grazie, perché non menzioni KKT? Non ho familiarità con quest'area, quindi trattami come uno studente delle superiori.

— Jeza

Le condizioni KKT in questo caso sono una generalizzazione delle "condizioni del primo ordine" che menziono differenziando il lagrangiano e impostando la derivata uguale a 0. Dato che in questo esempio, i vincoli valgono con l'uguaglianza, non abbiamo bisogno delle condizioni KKT in pieno in generale. In casi più complicati, tutto ciò che accade è che alcune delle uguaglianze sopra diventano disuguaglianze e il moltiplicatore diventa 0 per i vincoli che diventano non vincolanti. Ad esempio, questo è esattamente ciò che accade quandonel sopra.

M > | | β^{O L S} | |

$M > ||\beta^{OLS}||$

— stats_model

C'è una grande analisi di stats_model nella sua risposta .

Ho provato a rispondere a una domanda simile a The Proof of Equivalent Formulas of Ridge Regression .

Prenderò più approccio pratico per questo caso.
Proviamo a vedere la mappatura tra e nei 2 modelli. $t$ $\lambda$

Come ho scritto e può essere visto da stats_model nella sua analisi, la mappatura dipende dai dati. Quindi sceglieremo una realizzazione specifica del problema. Tuttavia, il codice e lo sketch della soluzione aggiungeranno intuizione a ciò che sta succedendo.

Confronteremo i seguenti 2 modelli:

Il modello regolarizzato: \arg min_{X} \frac{1}{2} {‖ UN X - y ‖}_{2}^{2} + λ {‖ X ‖}_{2}^{2}

$\text{The Regularized Model: } \arg \min_{x} \frac{1}{2} {\left\| A x - y \right\|}_{2}^{2} + \lambda {\left\| x \right\|}_{2}^{2}$

Il modello vincolato: \begin{aligned} \arg min_{X} & \frac{1}{2} {‖ UN X - y ‖}_{2}^{2} \\ soggetto a & {‖ X ‖}_{2}^{2} \leq t \end{aligned}

$\text{The Constrained Model: } \begin{align*} \arg \min_{x} \quad & \frac{1}{2} {\left\| A x - y \right\|}_{2}^{2} \\ \text{subject to} \quad & {\left\| x \right\|}_{2}^{2} \leq t \end{align*}$

Supponiamo che sia la soluzione del modello regolarizzato e sia la soluzione del modello vincolato. $\hat{x}$ $\tilde{x}$

Stiamo esaminando la mappatura da a tale che . Guardando la mia soluzione al Risolutore per i vincoli minimi quadrati della norma si potrebbe vedere che risolvere il modello vincolato implica risolvere il modello regolarizzato e trovare il che corrisponde alla (il codice effettivo è presentato in minimi quadrati con Euclide ( ) Vincolo della norma ). $t$ $\lambda$ $\hat{x} = \tilde{x}$
$\lambda$ $t$ ${L}_{2}$

Quindi eseguiremo lo stesso solutore e per ogni visualizzeremo il ottimale . $t$ $\lambda$

Il risolutore risolve sostanzialmente:

\begin{aligned} \arg_{λ} & λ \\ soggetto a & {‖ {({UN}^{T} UN + 2 λ io)}^{- 1} {UN}^{T} B ‖}_{2}^{2} - t = 0 \end{aligned}

$\begin{align*} \arg_{\lambda} \quad & \lambda \\ \text{subject to} \quad & {\left\| {\left( {A}^{T} A + 2 \lambda I \right)}^{-1} {A}^{T} b \right\|}_{2}^{2} - t = 0 \end{align*}$

Quindi ecco la nostra matrice:

mA =

   -0.0716    0.2384   -0.6963   -0.0359
    0.5794   -0.9141    0.3674    1.6489
   -0.1485   -0.0049    0.3248   -1.7484
    0.5391   -0.4839   -0.5446   -0.8117
    0.0023    0.0434    0.5681    0.7776
    0.6104   -0.9808    0.6951   -1.1300

Ed ecco il nostro vettore:

Questa è la mappatura:

Come si può vedere sopra, per un valore abbastanza alto di il parametro come previsto. $t$ $\lambda = 0$

Zoom avanti nell'intervallo [0, 10]:

Il codice completo è disponibile sul mio repository GitHub Q401212 StackExchange convalidato .

— Royi
fonte