Quando dovrei essere preoccupato per il paradosso Jeffreys-Lindley nella scelta del modello bayesiano?

Sto prendendo in considerazione un ampio (ma finito) spazio di modelli di varia complessità che esploro usando RJMCMC . Il precedente sul vettore dei parametri per ciascun modello è abbastanza informativo.

1. In quali casi (se ce ne sono) dovrei essere preoccupato per il paradosso Jeffreys-Lindley che favorisce i modelli più semplici quando uno dei modelli più complessi sarebbe più adatto?

2. Ci sono dei semplici esempi che evidenziano i problemi del paradosso nella scelta del modello bayesiano?

Ho letto un paio di articoli, ovvero il blog di Xi'an e il blog di Andrew Gelman , ma io ancora non capisco il problema.

Scusa se non sono chiaro sul mio blog !

Nota: ho fornito alcune informazioni sulla scelta del modello bayesiano e sul paradosso Jeffreys-Lindley in questa altra risposta su Cross convalidata.

Il paradosso di Jeffreys-Lindley è legato alla scelta del modello bayesiano in quanto la probabilità marginale diventa insignificante quando è una misura definita (cioè una misura con massa infinita) piuttosto che una misura di probabilità. La ragione di questa difficoltà è che la massa infinita rende e indistinguibili per qualsiasi costante positiva . In particolare, il fattore Bayes non può essere usato e non dovrebbe essere usato quando un modello è dotato di un precedente "piatto".

$$m(x)=\int \pi(\theta) f(x|\theta)\,\text{d}\theta$$ σ π c π $\pi$$\sigma$$\pi$$\mathfrak{c}\pi$$\mathfrak{c}$

Il paradosso originale di Jeffreys-Lindley usa la normale distribuzione come esempio. Quando si confrontano i modelli e il fattore Bayes è È ben definito quando è un precedente appropriato ma se prendi un precedente normale su e lascia andare all'infinito, il denominatore va a zero per qualsiasi valore di diverso da zero e qualsiasi valore di . (A meno che ex ∼ N ( θ , 1 ) B 12 =

$$x\sim\mathcal{N}(0,1)$$ $$x\sim\mathcal{N}(\theta,1)$$ πN(0,τ2)θτ ˉ x nnτnπ(θ)=ccB12B12= $$\mathfrak{B}_{12}=\dfrac{\exp\{-n(\bar{x}_n)^2/2\}}{\int_{-\infty}^{+\infty}\exp\{-n(\bar{x}_n-\theta)^2/2\}\pi(\theta)\,\text{d}\theta}$$ $\pi$$\mathcal{N}(0,\tau^2)$$\theta$$\tau$$\bar{x}_n$$n$$\tau$$n$sono correlati, ma questo diventa più complicato!) Se invece usi direttamente dove è una costante necessariamente arbitraria, il fattore Bayes sarà quindi direttamente dipendente da . $$\pi(\theta)=\mathfrak{c}$$ $\mathfrak{c}$$\mathfrak{B}_{12}$ $$\mathfrak{B}_{12}=\dfrac{\exp\{-n(\bar{x}_n)^2/2\}}{\mathfrak{c}\int_{-\infty}^{+\infty}\exp\{-n(\bar{x}_n-\theta)^2/2\}\,\text{d}\theta}=\dfrac{\exp\{-n(\bar{x}_n)^2/2\}}{\mathfrak{c}\sqrt{2\pi/n}}$$ $\mathfrak{c}$

Ora, se i tuoi priori sono informativi (e quindi corretti), non c'è motivo per il paradosso Jeffreys-Lindley. Con un numero sufficiente di osservazioni, il fattore Bayes selezionerà coerentemente il modello che ha generato i dati. (O più precisamente il modello all'interno della raccolta di modelli considerati per la scelta del modello più vicino al modello "vero" che ha generato i dati.)