Selezione del modello bayesiano e intervallo credibile

Ho un set di dati con tre variabili, in cui tutte le variabili sono quantitative. Lascialo chiamare , e . Sto adattando un modello di regressione in una prospettiva bayesiana tramite MCMC con$y$$x_1$$x_2$rjags

Ho fatto un'analisi esplorativa e il grafico a dispersione di suggerisce che dovrebbe essere usato un termine quadratico. Quindi ho montato due modelli$y\times x_2$

(1)$y=\beta_0+\beta_1*x_1+\beta_2*x_2$

(2)$y=\beta_0+\beta_1*x1+\beta_2*x_2+\beta_3*x_1x_2+\beta_4*x_1^2+\beta_5*x_2^2$

Nel modello 1 la dimensione dell'effetto di ciascun parametro non è piccola e l'intervallo credibile al 95% non contiene il valore .$0$

Nel modello 2 la dimensione dell'effetto dei parametri e è ridotta e ciascuno degli intervalli credibili per tutti i parametri contiene .$\beta_3$$\beta_4$$0$

Il fatto che un intervallo credibile contenga è sufficiente per dire che il parametro non è significativo?$0$

Quindi ho modificato il seguente modello

(3)$y=\beta_0+\beta_1*x_1+\beta_2*x_2+\beta_3*x^2_2$

La dimensione dell'effetto di ciascun parametro non è piccola, ma ad eccezione di tutti gli intervalli credibili contengono .$\beta_1$$0$

Qual è il modo giusto per fare la selezione variabile nelle statistiche bayesiane?

EDIT: posso usare Lasso in qualsiasi modello di regressione, come il modello Beta? Sto usando un modello a dispersione variabile in cui dove è un vettore. Dovrei usare Laplace prima anche in ?

EDIT2: ho montato due modelli, uno con priori gaussiani per , e uno con Laplace (doppio esponenziale).δ $\beta_j$$\delta_j$

Le stime per il modello gaussiano sono

            Mean      SD  Naive SE Time-series SE
B[1]     -1.17767 0.07112 0.0007497      0.0007498
B[2]     -0.15624 0.03916 0.0004128      0.0004249
B[3]      0.15600 0.05500 0.0005797      0.0005889
B[4]      0.07682 0.04720 0.0004975      0.0005209
delta[1] -3.42286 0.32934 0.0034715      0.0034712
delta[2]  0.06329 0.27480 0.0028966      0.0028969
delta[3]  1.06856 0.34547 0.0036416      0.0036202
delta[4] -0.32392 0.26944 0.0028401      0.0028138

Le stime per il modello Lazo sono

              Mean      SD  Naive SE Time-series SE
B[1]     -1.143644 0.07040 0.0007421      0.0007422
B[2]     -0.160541 0.05341 0.0005630      0.0005631
B[3]      0.137026 0.05642 0.0005947      0.0005897
B[4]      0.046538 0.04770 0.0005028      0.0005134
delta[1] -3.569151 0.27840 0.0029346      0.0029575
delta[2] -0.004544 0.15920 0.0016781      0.0016786
delta[3]  0.411220 0.33422 0.0035230      0.0035629
delta[4] -0.034870 0.16225 0.0017103      0.0017103
lambda    7.269359 5.45714 0.0575233      0.0592808

Le stime per e ridotte nel modello Lazo, significa che dovrei rimuovere queste variabili dal modello?δ $\delta_2$$\delta_4$

EDIT3: Il modello con doppio precedente esponenziale (Lazo) mi dà valori di Devianza, BIC e DIC più grandi rispetto al modello con priori gaussiani e ottengo anche valori più piccoli dopo aver rimosso il coefficiente di dispersione nel modello gaussiano.$\delta_2$

È noto che la creazione di un modello basato su ciò che è significativo (o su qualche altro criterio come AIC, se un intervallo credibile contiene 0 ecc.) È piuttosto problematico, in particolare se si fa l'inferenza come se non si fosse fatto la costruzione di modelli. Fare un'analisi bayesiana non cambia questo (vedi anche https://stats.stackexchange.com/a/201931/86652 ). Vale a dire che non dovresti fare la selezione variabile, ma piuttosto la media del modello (o qualcosa che potrebbe ottenere alcuni coefficienti zero, ma riflette l'intero processo di modellazione, come LASSO o rete elastica).

La scelta del modello bayesiano è più tipicamente definita come media del modello bayesiano. Hai diversi modelli, ognuno con una diversa probabilità precedente. Se la probabilità del modello posteriore per un modello diventa abbastanza bassa, essenzialmente si sta scartando completamente il modello. Per pesi precedenti uguali per ciascun modello e priori piatti, la media del modello con pesi proporzionali a per ogni modello si avvicina a questo.$\exp(-\text{BIC}/2)$

In alternativa, puoi esprimere la media del modello come un precedente che è una miscela tra una massa punto (il peso della massa punto è la probabilità precedente che l'effetto sia esattamente zero = l'effetto non è nel modello) e una distribuzione continua (ad es. priori di punta e lastra). Il campionamento MCMC può essere piuttosto difficile per un simile precedente.

Carvalho et al. motivare il restringimento a ferro di cavallo prima suggerendo che funziona come un'approssimazione continua a un precedente a punta e lastra. È anche un caso di incorporare il problema in un modello gerarchico, dove in una certa misura la dimensione e la presenza di effetti su alcune variabili allentano un po 'le prove richieste per altri (attraverso il parametro di restringimento globale, questo è un po' come una falsa scoperta controllo della velocità) e d'altra parte consentire ai singoli effetti di resistere da soli se l'evidenza è abbastanza chiara. È disponibile un'implementazione conveniente dal pacchetto brms R che si basa su Stan / rstan . Ci sono un certo numero di altri priori simili come il ferro di cavallo + precedente e l'intero argomento è un'area di ricerca in corso.

Esistono numerosi metodi formali per la selezione delle variabili bayesiane. Una revisione leggermente obsoleta dei metodi di selezione delle variabili bayesiane è presentata in:

Una rassegna dei metodi di selezione delle variabili bayesiane: cosa, come e quale

Una revisione più recente, che include anche un confronto tra diversi metodi e le prestazioni dei pacchetti R in cui sono implementati è:

Metodi e strumenti per la selezione delle variabili bayesiane e la media dei modelli nella regressione lineare univariata

Questo riferimento è particolarmente utile in quanto indica specifici pacchetti R in cui è sufficiente collegare i valori di risposta e covariata (e in alcuni casi i valori dell'iperparametro) per eseguire la selezione della variabile.

Un altro modo rapido e sporco e sconsigliato di condurre la selezione della variabile "bayesiana" consiste nell'utilizzare la selezione graduale (avanti, indietro, entrambi) usando BIC e il comando R stepAIC (), che può essere modificato per eseguire la selezione in termini di BIC.

https://stat.ethz.ch/R-manual/R-devel/library/MASS/html/stepAIC.html

Un altro modo rapido e sporco di testare è usando il rapporto densità Savage-Dickey e la simulazione posteriore che hai già ottenuto:$\beta_4=0$

https://arxiv.org/pdf/0910.1452.pdf

L'intera idea delle statistiche bayesiane è diversa da un approccio frequentista. In questo modo penso che usare i termini di significato non sia accurato. Immagino che spetti al lettore decidere se i risultati (distribuzione) ottenuti dal tuo modello per i tuoi sono affidabili o affidabili per lui. Dipende sempre dalla distribuzione stessa. Quanto è obliquo e largo e quanto dell'area è inferiore allo zero?$β$

Puoi anche trovare una bella lezione sull'argomento qui alle 41:55:

https://vimeo.com/14553953