Esiste un chiaro insieme di condizioni in cui i percorsi della soluzione di lazo, cresta o rete elastica sono monotoni?

18

La domanda Cosa concludere da questo diagramma del lazo (glmnet) dimostra percorsi di soluzione per lo stimatore del lazo che non sono monotonici. Cioè, alcuni cofficients crescono in valore assoluto prima che si restringano.

Ho applicato questi modelli a diversi tipi di set di dati e non ho mai visto questo comportamento "in natura" e fino ad oggi avevo ipotizzato che fossero sempre monotonici.

Esiste un chiaro insieme di condizioni in cui i percorsi della soluzione sono garantiti monotone? Influisce sull'interpretazione dei risultati se i percorsi cambiano direzione?

lasso ridge-regression elastic-net

— shadowtalker
fonte

Monotone in che senso? Non mi sembra molto significativo se vuoi trattarlo come un grafico di qualche funzione.

— Henry.L,

4

λ_{1} \geq λ_{2}

$\lambda_1 \ge \lambda_2$

({\hat{β}}_{λ_{2}})_{j} \geq ({\hat{β}}_{λ_{1}})_{j}

$(\hat\beta_{\lambda_2})_j \ge (\hat\beta_{\lambda_1})_j$

j

$j$

{\hat{β}}_{λ} = \arg min_{β} \frac{1}{2 n} ‖ y - X β ‖_{2}^{2} + λ ‖ β ‖_{1}

$\hat\beta_\lambda = \arg\min_\beta \frac{1}{2n}\|y-X\beta\|_2^2 + \lambda \|\beta\|_1$

2

nota: comprendere il modo in cui il lazo riduce i coefficienti è l'argomento sia di questa domanda sia di stats.stackexchange.com/questions/145299/…

— user795305

1

Non so come ho perso questo prima, alla domanda viene data risposta per il lazo sulla risposta del PO alla sua stessa domanda nella domanda sopra.

— user795305

Risposte:

2

Posso darvi una sufficiente condizione per il percorso di essere monotono: un design ortonormale di $X$ .

Supponiamo che una matrice di design ortonormale, cioè con variabili in , abbiamo che . Con un disegno ortogonale i coefficienti di regressione OLS sono semplicemente . $p$ $X$ $\frac{X'X}{n} = I_p$ $\hat{\beta}^{ols} = \frac{X'y}{n}$

Le condizioni di Karush-Khun-Tucker per LASSO semplificano così:

\frac{X^{'} y}{n} = {\hat{β}}^{l a s s o} + λ s ⟹ {\hat{β}}^{o l s} = {\hat{β}}^{l a s s o} + λ s

$\frac{X'y}{n} = \hat{\beta}^{lasso} + \lambda s \implies \hat{\beta}^{ols} = \hat{\beta}^{lasso} + \lambda s$

Dove è il gradiente secondario. Quindi, per ogni abbiamo quel , e noi avere una soluzione in forma chiusa alle stime del lazo: $s$ $j\in \{1, \dots, p\}$ $\hat{\beta}_j^{ols} = \hat{\beta}_j^{lasso} + \lambda s_j$

{\hat{β}}_{j}^{l a s s o} = s i g n ({\hat{β}}_{j}^{o l s}) {(| {\hat{β}}_{j}^{o l s} | - λ)}_{+}

$\hat{\beta}_j^{lasso} = sign\left(\hat{\beta}_j^{ols}\right)\left(|\hat{\beta}_j^{ols}| - \lambda \right)_{+}$

Quale è monotono in . Mentre questa non è una condizione necessaria, si vede che la non-monotonicità deve venire dalla correlazione delle covariate . $\lambda$ $X$

— Carlos Cinelli
fonte

Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.

Licensed under cc by-sa 3.0 with attribution required.