Perché la penalità del lazo equivale al doppio esponenziale (Laplace) precedente?

27

Ho letto in numerosi riferimenti che la stima del lazo per il vettore di parametro di regressione è equivalente al modo posteriore di in cui la distribuzione precedente per ciascun è una doppia distribuzione esponenziale (nota anche come distribuzione di Laplace). $B$ $B$ $B_i$

Ho cercato di dimostrarlo, qualcuno può approfondire i dettagli?

— Invernomuto
fonte

@ user777 Ho sfogliato quel libro per un po 'oggi. Impossibile trovare nulla di rilevante.

— Wintermute,

3

Correlati: stats.stackexchange.com/questions/177210/…

— Tim

30

Per semplicità consideriamo solo una singola osservazione di una variabile tale che $Y$

Y | μ, σ^{2} \sim N (μ, σ^{2}),

$Y|\mu, \sigma^2 \sim N(\mu, \sigma^2),$

$\mu \sim \mbox{Laplace}(\lambda)$ e il precedente improprio $f(\sigma) \propto \mathbb{1}_{\sigma>0}$ .

Quindi la densità articolare di $Y, \mu, \sigma^2$ è proporzionale a

f (Y, μ, σ^{2} | λ) \propto \frac{1}{σ} \exp (- \frac{(y - μ)^{2}}{σ^{2}}) \times 2 λ e^{- λ | μ |} .

$f(Y, \mu, \sigma^2 | \lambda) \propto \frac{1}{\sigma}\exp \left(-\frac{(y-\mu)^2}{\sigma^2} \right) \times 2\lambda e^{-\lambda \vert \mu \vert}.$

Prendere un registro e scartare i termini che non comportano $\mu$ ,

\log f (Y, μ, σ^{2}) = - \frac{1}{σ^{2}} ‖ y - μ ‖_{2}^{2} - λ | μ | . (1)

$\log f(Y, \mu, \sigma^2) = -\frac{1}{\sigma^2} \Vert y-\mu\Vert_2^2 -\lambda \vert \mu \vert. \quad (1)$

Pertanto, il massimo di (1) sarà una stima MAP ed è effettivamente il problema del lazo dopo la ri-parametrizzazione di $\tilde \lambda = \lambda \sigma^2$ .

L'estensione alla regressione è chiara: sostituisci con nella verosimiglianza Normale e imposta il precedente su in modo che sia una sequenza di distribuzioni indipendenti laplace . $\mu$ $X\beta$ $\beta$ $(\lambda)$

— Andrew M
fonte

25

Ciò è evidente dall'ispezione della quantità che LASSO sta ottimizzando.

Prendi il precedente per come Laplace indipendente con zero medio e qualche scala . $\beta_i$ $\tau$

Quindi . $p(\beta|\tau) \propto e^{-\frac{1}{2\tau} \sum_i|\beta_i|}$

Il modello per i dati è la solita ipotesi di regressione . $y \stackrel{\text{iid}}{\sim}N(X\beta,\sigma^2)$

$f(\mathbf{y}|\mathbf{X},\boldsymbol\beta,\sigma^{2}) \propto (\sigma^{2})^{-n/2} \exp\left(-\frac{1}{2{\sigma}^{2}}(\mathbf{y}- \mathbf{X} \boldsymbol\beta)^{\rm T}(\mathbf{y}- \mathbf{X} \boldsymbol\beta)\right)$

Ora meno due volte il tronco del posteriore è della forma

$k(\sigma^2,\tau,n,p)+$ $\frac{1}{{\sigma}^{2}} (\mathbf{y}- \mathbf{X} \boldsymbol\beta)^{\rm T}(\mathbf{y}- \mathbf{X} \boldsymbol\beta)+ \frac{1}{\tau} \sum_i|\beta_i|$

Let e otteniamo -posterior di $\lambda=\sigma^2/\tau$ $-2\log$

$k(\sigma^2,\lambda,n,p)+$ $\frac{1}{{\sigma}^{2}}\left[ (\mathbf{y}- \mathbf{X} \boldsymbol\beta)^{\rm T}(\mathbf{y}- \mathbf{X} \boldsymbol\beta)+ \lambda \sum_i|\beta_i|\right]$

Lo stimatore MAP per minimizza quanto sopra, che minimizza $\beta$

$S=(\mathbf{y}- \mathbf{X} \boldsymbol\beta)^{\rm T}(\mathbf{y}- \mathbf{X} \boldsymbol\beta)+ \lambda \sum_i|\beta_i|$

Quindi lo stimatore MAP per è LASSO. $\beta$

(Qui ho trattato come riparato efficacemente ma puoi fare altre cose con esso e far uscire ancora LASSO.) $\sigma^2$

Modifica: ecco cosa ottengo componendo una risposta off line; Non ho visto una buona risposta già pubblicata da Andrew. Il mio non fa davvero nulla che il suo non faccia già. Lascio il mio per ora perché fornisce un paio di dettagli in più sullo sviluppo in termini di . $\beta$

— Glen_b - Ripristina Monica
fonte

1

Sembra che ci sia una differenza tra la tua risposta e quella di Andrew. La tua risposta ha la forma corretta del regolarizzatore: , mentre Andrew ha, dove nella regressione lineare, otteniamo .

λ ‖ β ‖_{1}

$\lambda \|\beta\|_1$

λ | μ |

$\lambda |\mu|$

μ = X β

$\mu=X\beta$

— Alex R.

2

@AlexR Penso che tu abbia interpretato male il μ nella risposta di Andrew. Il μ lì corrisponde a un in una regressione con solo un'intercettazione, non a in una regressione multipla; lo stesso argomento segue per il caso più grande (nota i parallelismi con la mia risposta) ma è più facile da seguire nel caso semplice. La risposta di Andrew è essenzialmente giusta ma non collega tutti i punti alla domanda originale, lasciando una piccola quantità per il lettore da compilare. Penso che le nostre risposte siano coerenti (fino ad alcune differenze minori relative a σ che possono essere spiegate) e che meritava pienamente il segno di spunta

β_{0}

$\beta_0$

X β

$X\beta$

— Glen_b -Reststate Monica,