Selezione del modello bayesiano e intervallo credibile


9

Ho un set di dati con tre variabili, in cui tutte le variabili sono quantitative. Lascialo chiamare , e . Sto adattando un modello di regressione in una prospettiva bayesiana tramite MCMC conyx1x2rjags

Ho fatto un'analisi esplorativa e il grafico a dispersione di suggerisce che dovrebbe essere usato un termine quadratico. Quindi ho montato due modelliy×x2

(1)y=β0+β1x1+β2x2

(2)y=β0+β1x1+β2x2+β3x1x2+β4x12+β5x22

Nel modello 1 la dimensione dell'effetto di ciascun parametro non è piccola e l'intervallo credibile al 95% non contiene il valore .0

Nel modello 2 la dimensione dell'effetto dei parametri e è ridotta e ciascuno degli intervalli credibili per tutti i parametri contiene .β3β40

Il fatto che un intervallo credibile contenga è sufficiente per dire che il parametro non è significativo?0

Quindi ho modificato il seguente modello

(3)y=β0+β1x1+β2x2+β3x22

La dimensione dell'effetto di ciascun parametro non è piccola, ma ad eccezione di tutti gli intervalli credibili contengono . 0β10

Qual è il modo giusto per fare la selezione variabile nelle statistiche bayesiane?

EDIT: posso usare Lasso in qualsiasi modello di regressione, come il modello Beta? Sto usando un modello a dispersione variabile in cui dove è un vettore. Dovrei usare Laplace prima anche in ?δ

log(σ)=δδX
δδδδδ

EDIT2: ho montato due modelli, uno con priori gaussiani per , e uno con Laplace (doppio esponenziale).δ jβjδj

Le stime per il modello gaussiano sono

            Mean      SD  Naive SE Time-series SE
B[1]     -1.17767 0.07112 0.0007497      0.0007498
B[2]     -0.15624 0.03916 0.0004128      0.0004249
B[3]      0.15600 0.05500 0.0005797      0.0005889
B[4]      0.07682 0.04720 0.0004975      0.0005209
delta[1] -3.42286 0.32934 0.0034715      0.0034712
delta[2]  0.06329 0.27480 0.0028966      0.0028969
delta[3]  1.06856 0.34547 0.0036416      0.0036202
delta[4] -0.32392 0.26944 0.0028401      0.0028138

Le stime per il modello Lazo sono

              Mean      SD  Naive SE Time-series SE
B[1]     -1.143644 0.07040 0.0007421      0.0007422
B[2]     -0.160541 0.05341 0.0005630      0.0005631
B[3]      0.137026 0.05642 0.0005947      0.0005897
B[4]      0.046538 0.04770 0.0005028      0.0005134
delta[1] -3.569151 0.27840 0.0029346      0.0029575
delta[2] -0.004544 0.15920 0.0016781      0.0016786
delta[3]  0.411220 0.33422 0.0035230      0.0035629
delta[4] -0.034870 0.16225 0.0017103      0.0017103
lambda    7.269359 5.45714 0.0575233      0.0592808

Le stime per e ridotte nel modello Lazo, significa che dovrei rimuovere queste variabili dal modello?δ 4δ2δ4

EDIT3: Il modello con doppio precedente esponenziale (Lazo) mi dà valori di Devianza, BIC e DIC più grandi rispetto al modello con priori gaussiani e ottengo anche valori più piccoli dopo aver rimosso il coefficiente di dispersione nel modello gaussiano.δ2


2
La sezione 18.4 di DBDA2E * riguarda la selezione delle variabili nella regressione multipla. Con grande cautela puoi inserire indicatori di inclusione con ciascun coefficiente e osservare la probabilità posteriore di inclusione. Quando si interpretano le distribuzioni posteriori dei parametri, l'HDI del 95% incluso lo zero non indica l'equivalenza a zero. * DBDA2E = Do Bayesian Data Analysis 2nd Edition.
John K. Kruschke,

2
Il modo naturale di confrontare i modelli in un quadro bayesiano è attraverso probabilità marginali, non intervalli credibili. Un'alternativa collegata alla media del modello è quella di utilizzare una rappresentazione della miscela e dedurre dai pesi di ciascun modello / componente quale modello è favorito dai dati.
Xi'an,

@ Xi'an ma il confronto di due o più modelli con probabilità marginali non sarebbe lo stesso dell'utilizzo dei fattori Bayes, se a tutti i modelli fosse data la stessa probabilità precedente?
DeltaIV,

Caro Prof. Kruschke, ho dei dubbi riguardo al calcolo degli intervalli crdible. Quello che ho capito che possono esserci molti intervalli credibili a seconda della plausibilità del posteriore basato su diversi priori. Ma qui come decidere quali sono i priori più plausibili che a loro volta danno il posteriore più plausibile? Un'altra domanda è: sto usando l'inferenza variabile (VI) per calcolare i posteriori e infine calcolare il limite inferiore delle prove del modello. Come calcolare l'intervallo credibile per i posteriori in caso di VI? Inoltre, come procedere per il fattore Bayes in caso di VI?
Sandipan Karmakar,

Risposte:


9

È noto che la creazione di un modello basato su ciò che è significativo (o su qualche altro criterio come AIC, se un intervallo credibile contiene 0 ecc.) È piuttosto problematico, in particolare se si fa l'inferenza come se non si fosse fatto la costruzione di modelli. Fare un'analisi bayesiana non cambia questo (vedi anche https://stats.stackexchange.com/a/201931/86652 ). Vale a dire che non dovresti fare la selezione variabile, ma piuttosto la media del modello (o qualcosa che potrebbe ottenere alcuni coefficienti zero, ma riflette l'intero processo di modellazione, come LASSO o rete elastica).

La scelta del modello bayesiano è più tipicamente definita come media del modello bayesiano. Hai diversi modelli, ognuno con una diversa probabilità precedente. Se la probabilità del modello posteriore per un modello diventa abbastanza bassa, essenzialmente si sta scartando completamente il modello. Per pesi precedenti uguali per ciascun modello e priori piatti, la media del modello con pesi proporzionali a per ogni modello si avvicina a questo.exp(BIC/2)

In alternativa, puoi esprimere la media del modello come un precedente che è una miscela tra una massa punto (il peso della massa punto è la probabilità precedente che l'effetto sia esattamente zero = l'effetto non è nel modello) e una distribuzione continua (ad es. priori di punta e lastra). Il campionamento MCMC può essere piuttosto difficile per un simile precedente.

Carvalho et al. motivare il restringimento a ferro di cavallo prima suggerendo che funziona come un'approssimazione continua a un precedente a punta e lastra. È anche un caso di incorporare il problema in un modello gerarchico, dove in una certa misura la dimensione e la presenza di effetti su alcune variabili allentano un po 'le prove richieste per altri (attraverso il parametro di restringimento globale, questo è un po' come una falsa scoperta controllo della velocità) e d'altra parte consentire ai singoli effetti di resistere da soli se l'evidenza è abbastanza chiara. È disponibile un'implementazione conveniente dal pacchetto brms R che si basa su Stan / rstan . Ci sono un certo numero di altri priori simili come il ferro di cavallo + precedente e l'intero argomento è un'area di ricerca in corso.


Il lazo bayesiano è come questo stats.stackexchange.com/questions/28609/… ? Sono un modello con variabile di dispersione Dovrei usare la doppia exponentail prima anche per quei parametri?

2

Esistono numerosi metodi formali per la selezione delle variabili bayesiane. Una revisione leggermente obsoleta dei metodi di selezione delle variabili bayesiane è presentata in:

Una rassegna dei metodi di selezione delle variabili bayesiane: cosa, come e quale

Una revisione più recente, che include anche un confronto tra diversi metodi e le prestazioni dei pacchetti R in cui sono implementati è:

Metodi e strumenti per la selezione delle variabili bayesiane e la media dei modelli nella regressione lineare univariata

Questo riferimento è particolarmente utile in quanto indica specifici pacchetti R in cui è sufficiente collegare i valori di risposta e covariata (e in alcuni casi i valori dell'iperparametro) per eseguire la selezione della variabile.

Un altro modo rapido e sporco e sconsigliato di condurre la selezione della variabile "bayesiana" consiste nell'utilizzare la selezione graduale (avanti, indietro, entrambi) usando BIC e il comando R stepAIC (), che può essere modificato per eseguire la selezione in termini di BIC.

https://stat.ethz.ch/R-manual/R-devel/library/MASS/html/stepAIC.html

Un altro modo rapido e sporco di testare è usando il rapporto densità Savage-Dickey e la simulazione posteriore che hai già ottenuto:β4=0

https://arxiv.org/pdf/0910.1452.pdf


Penso che la domanda sia: perché tutti e tre i parametri nel modello 3 hanno regioni credibili contenenti 0 e non se sia o meno 0.β4
Michael R. Chernick,

@MichaelChernick Allora perché l'OP chiede "In this case is reasonable say that $\beta_4\neq 0$"? e "Which is the right way to do variable selection in Bayesian statistics"?
CTHULHU,

Ho perso quella parte della domanda ma non credo che fosse il problema principale.
Michael R. Chernick,

1
@MichaelChernick Bene, immagino che l'OP abbia l'ultima parola qui ...
CTHULHU,

1

L'intera idea delle statistiche bayesiane è diversa da un approccio frequentista. In questo modo penso che usare i termini di significato non sia accurato. Immagino che spetti al lettore decidere se i risultati (distribuzione) ottenuti dal tuo modello per i tuoi sono affidabili o affidabili per lui. Dipende sempre dalla distribuzione stessa. Quanto è obliquo e largo e quanto dell'area è inferiore allo zero?β

Puoi anche trovare una bella lezione sull'argomento qui alle 41:55:

https://vimeo.com/14553953


Ho aggiunto un esempio di istogramma di una variabile quale intervallo credibile contiene potresti dare un'occhiata? 0

1
Di ritorno dal fine settimana. Dove possiamo trovare l'istogramma?
burton030,
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.