Lazo bayesiano contro picco e lastra

Domanda: Quali sono i vantaggi / gli svantaggi dell'utilizzo di uno precedente rispetto all'altro per la selezione delle variabili?

Se ho il rischio: dove posso mettere sia uno dei priori:

y \sim N (X w, σ^{2} I)

$y\sim\mathcal{N}(Xw,\sigma^2I)$

Oppure:

w_{i} \sim π δ_{0} + (1 - π) N (0, 100) π = 0.9,

$w_i\sim \pi\delta_0+(1-\pi)\mathcal{N}(0,100)\\ \pi=0.9\,,$

w_{i} \sim \exp (- λ | w_{i} |) λ \sim Γ (1, 1) .

$w_i\sim \exp(-\lambda|w_i|)\\ \lambda \sim \Gamma(1,1)\,.$

Ho messo per enfatizzare che la maggior parte dei pesi sono zero e una gamma prima di per scegliere il parametro 'regolarizzante'. $\pi=0.9$ $\lambda$

Tuttavia, il mio professore continua a insistere sul fatto che la versione del lazo "restringe" i coefficienti e in realtà non sta effettuando una corretta selezione delle variabili, vale a dire che vi è una contrazione eccessiva anche dei parametri pertinenti.

$\frac{1}{|w_i|}$

bayesian feature-selection

— sachinruk
fonte

Il tuo professore ha ragione sul fatto che sta riducendo i parametri rilevanti, ma che importa? Li riduce solo nella misura in cui non contribuiscono in modo significativo alla riduzione dell'errore. E perché concentrarsi sul fare una corretta selezione delle variabili. Non dovrebbe esserci il focus sulla riduzione dell'errore (test)

— seanv507

Per la maggior parte dei problemi sì, sarei d'accordo. Tuttavia, per alcuni problemi (ad es. Rilevazione del cancro con espressione genica) è estremamente importante scoprire quali caratteristiche sono i fattori che contribuiscono. ps Da allora sono passato dal mio post dottorato da quando è un idiota. Apprendimento automatico ftw !!!

— sachinruk,

Spike e Slab sembrano essere il gold standard nella selezione variabile e preferisco anche lavorare con LASSO. @Sachin_ruk: lo spike e il lastra precedente possono essere implementati anche usando Variational Bayes ...

— Sandipan Karmakar,

@SandipanKarmakar potresti pubblicare un link che fa riferimento a picco e lastra con Variational Bayes.

— sachinruk,

La tua domanda unisce i problemi di modellazione [quale precedente?] E di implementazione [Bayes variazionale]. Dovrebbero essere elaborati separatamente.

— Xi'an,

Entrambi questi metodi (LASSO vs. spike-and-slab) possono essere interpretati come problemi di stima bayesiana in cui si stanno specificando parametri diversi. Una delle differenze principali è che il metodo LASSO non mette a zero una massa in punti per il precedente (cioè, i parametri sono quasi sicuramente diversi da zero a priori), mentre il picco e la lastra mettono una massa in punti sostanziale sullo zero.

A mio modesto parere, il principale vantaggio del metodo spike-and-slab è che è adatto a problemi in cui il numero di parametri è superiore al numero di punti dati e si desidera eliminare completamente un numero sostanziale di parametri dal modello. Poiché questo metodo mette una grande massa di punti su zero nel precedente, produrrà stime posteriori che tendono a coinvolgere solo una piccola parte dei parametri, sperando di evitare un adattamento eccessivo dei dati.

Quando il tuo professore ti dice che il primo non sta eseguendo un metodo di selezione variabile, ciò che probabilmente intende è questo. Sotto LASSO, ciascuno dei parametri è quasi sicuramente diverso da zero a priori (cioè, sono tutti nel modello). Poiché la probabilità è anche diversa da zero rispetto al supporto dei parametri, ciò significa anche che ognuno è quasi sicuramente diverso da zero a priori (ovvero, sono tutti nel modello). Ora, potresti integrare questo con un test di ipotesi e escludere i parametri dal modello in quel modo, ma sarebbe un test aggiuntivo imposto sul modello bayesiano.

I risultati della stima bayesiana rifletteranno un contributo dai dati e un contributo dal precedente. Naturalmente, una distribuzione precedente che è più strettamente concentrata attorno allo zero (come il picco e la lastra) "restringerà" gli stimatori dei parametri risultanti, rispetto a un precedente che è meno concentrato (come il LASSO). Naturalmente, questo "restringimento" è semplicemente l'effetto delle informazioni precedenti che hai specificato. La forma del precedente LASSO significa che sta riducendo tutte le stime dei parametri verso la media, rispetto a un precedente più piatto.

— Ben - Ripristina Monica
fonte