Relazione LASSO tra

La mia comprensione della regressione di LASSO è che i coefficienti di regressione sono selezionati per risolvere il problema di minimizzazione:

min_{β} ‖ y - X β ‖_{2}^{2} S . t . ‖ β ‖_{1} \leq t

$\min_\beta \|y - X \beta\|_2^2 \ \\s.t. \|\beta\|_1 \leq t$

In pratica questo viene fatto usando un moltiplicatore di Lagrange, facendo risolvere il problema

min_{β} ‖ y - X β ‖_{2}^{2} + λ ‖ β ‖_{1}

$\min_\beta \|y - X \beta\|_2^2 + \lambda \|\beta\|_1$

Qual è il rapporto tra $\lambda$ e $t$ ? Wikipedia, inutilmente, afferma semplicemente che è "dipendente dai dati".

Perché me ne importa? Innanzitutto per curiosità intellettuale. Ma sono anche preoccupato per le conseguenze sulla selezione di $\lambda$ per convalida incrociata.

In particolare, se sto eseguendo la convalida incrociata n-fold, inserisco n modelli diversi in n diverse partizioni dei miei dati di allenamento. Quindi confronto l'accuratezza di ciascuno dei modelli sui dati non utilizzati per un dato $\lambda$ . Ma lo stesso $\lambda$ implica un diverso vincolo ( $t$ ) per diversi sottoinsiemi di dati (ovvero, $t=f(\lambda)$ è "dipendente dai dati").

Il problema della convalida incrociata che non voglio davvero risolvere è quello di trovare la $t$ che offre il miglior compromesso di precisione di bias?

Posso avere un'idea approssimativa delle dimensioni di questo effetto in pratica calcolando per ogni divisione di convalida incrociata e e osservando la distribuzione risultante. In alcuni casi il vincolo implicito ( ) può variare sostanzialmente in modo sostanziale tra i miei sottoinsiemi di convalida incrociata. Dove sostanzialmente intendo il coefficiente di variazione in . $\|\beta\|_1$ $\lambda$ $t$ $t>>0$

— ConstantAmateur
fonte

Upgrade per annullare il downvote inspiegabile. La domanda è ben al di fuori della mia esperienza ma sembra ragionevolmente formulata.

— mkt - Ripristina Monica il

Questa è la soluzione standard per la regressione della cresta :

β = {(X^{'} X + λ I)}^{- 1} X^{'} y

$\beta = \left( X'X + \lambda I \right) ^{-1} X'y$

Sappiamo anche che , quindi deve essere vero quello $\| \beta \| = t$

‖ {(X^{'} X + λ I)}^{- 1} X^{'} y ‖ = t

$\| \left( X'X + \lambda I \right) ^{-1} X'y \| = t$ .

che non è facile da risolvere per . $\lambda$

La tua scommessa migliore è continuare a fare quello che stai facendo: calcola sullo stesso sottocampione dei dati attraverso più valori . $t$ $\lambda$

— shadowtalker
fonte