Esiste un'interpretazione bayesiana della regressione lineare con la regolarizzazione simultanea L1 e L2 (nota anche come rete elastica)?

È noto che la regressione lineare con una penalità equivale a trovare la stima MAP data un precedente gaussiano sui coefficienti. Allo stesso modo, usare una penalità equivale a usare una distribuzione di Laplace come precedente. $l^2$ $l^1$

Non è raro usare una combinazione ponderata di e regolarizzazione. Possiamo dire che questo equivale a una distribuzione precedente sui coefficienti (intuitivamente, sembra che debba essere)? Possiamo dare a questa distribuzione una bella forma analitica (forse un misto di gaussiano e lapislazziano)? In caso contrario, perché no? $l^1$ $l^2$

— Michael Curry
fonte

vedere questo documento: tandfonline.com/doi/abs/10.1198/jasa.2011.tm09241 (se questa risposta non viene risolta entro una settimana o due,

— posterò

Vorrei aggiungere che eventuali frequentisti tempo hanno una penalità

, un bayesiano può interpretare che come (forse impropria) prima

sotto un modello gaussiano standard.

p e n

$pen$

e^{- p e n}

$e^{-pen}$

— user795305,

grazie, questo documento e le sue citazioni rispondono perfettamente alla mia domanda!

— Michael Curry,

Grande! Ti dispiace sottolineare quali citazioni intendi? (Sto pianificando di leggere presto questo documento e sono interessato ai tuoi commenti)

— user795305

Va bene, d'accordo! Penso che la loro interpretazione bayesiana sia legata al mio secondo commento

— user795305,

Il commento di Ben è probabilmente sufficiente, ma fornisco altri riferimenti uno dei quali è precedente al documento a cui Ben faceva riferimento.

$\beta$

Un modello bayesiano corretto per la rete elastica è stato recentemente proposto da Roy e Chakraborty (la loro equazione 6). Gli autori continuano anche a presentare un campionatore Gibbs appropriato per campionare dalla distribuzione posteriore e mostrano che il campionatore Gibbs converge alla distribuzione stazionaria a una frequenza geometrica. Per questo motivo, questi riferimenti potrebbero rivelarsi utili, oltre al documento di Hans .

— Greenparker
fonte

(+1) Ottima risposta!

— user795305,

per chiunque in futuro - vale la pena guardare tutti i documenti, ma il documento Hans offre alcuni campionatori Gibbs per varie distribuzioni, nonché una rappresentazione gerarchica del priore che può essere tradotta facilmente in Stan.

— Michael Curry,