Fattori di Bayes con priori impropri

Ho una domanda sul confronto tra modelli usando i fattori di Bayes. In molti casi, gli statistici sono interessati all'utilizzo di un approccio bayesiano con priori impropri (ad esempio alcuni priori Jeffreys e priori di riferimento).

La mia domanda è, nei casi in cui la distribuzione posteriore dei parametri del modello è ben definita, è valido confrontare i modelli usando i fattori di Bayes con l'uso di priori impropri?

Come semplice esempio, si consideri il confronto tra un modello normale e un modello logistico con i precedenti Jeffreys.

bayesian model-selection prior

— Jeffrey
fonte

Un priore improprio ha il ruolo di un "priore non informativo". Se ci si trova in una prospettiva "nessuna credenza precedente", ovviamente non è possibile assegnare una probabilità precedente a un modello. Tuttavia ci sono alcuni articoli di Berger e altri autori su una nozione di "fattori intrinseci di Bayes"; questo suona come il fattore di Bayes con priori non informativi, ma non posso aggiungere altro perché non ho mai letto questi articoli. Probabilmente esistono anche altri metodi di "selezione oggettiva del modello bayesiano" (digitando questi termini in Google si ottengono diversi articoli di Berger).

— Stéphane Laurent,

@ StéphaneLaurent L'interpretazione del precedente sui parametri è diversa da quella della probabilità precedente del modello. Questo può essere visto dall'espressione generale per il fattore Bayes. Puoi anche assegnare priori uniformi ai modelli, impropri prima dei parametri e vedere cosa ti dicono i dati a posteriori .

— Jeffrey,

Consiglio di leggere i criteri per la scelta del modello bayesiano con l'applicazione alla selezione variabile (AoS, 2012), in particolare Lemma 1. Fondamentalmente, non è possibile utilizzare priori impropri per parametri non comuni.

No. Sebbene i priori impropri possano andare bene per la stima dei parametri in determinate circostanze (a causa del teorema di Bernstein – von Mises ), sono un grande no-no per il confronto tra modelli, a causa di ciò che è noto come il paradosso dell'emarginazione .

Il problema, come suggerisce il nome, è che la distribuzione marginale di una distribuzione impropria non è ben definita. Data una probabilità e una precedente : il fattore Bayes richiede il calcolo della probabilità marginale : $p_1(x \mid \theta)$ $p_1(\theta)$

p_{1} (x) = \int_{Θ} p_{1} (x ∣ θ) p_{1} (θ) d θ .

$p_1(x) = \int_\Theta p_1(x \mid \theta) p_1(\theta) d \theta .$

Se ritieni che un precedente improprio sia noto solo fino alla proporzionalità (ad esempio ), il problema è che verrà moltiplicato per una costante sconosciuta. In un fattore Bayes, calcolerai il rapporto di qualcosa con una costante sconosciuta. $p_1(\theta) \propto 1$ $p_1(x)$

Alcuni autori, in particolare ET Jaynes, cercano di aggirare il problema definendo i priori impropri come il limite di una sequenza di priori propri: quindi il problema è che potrebbero esserci due diverse sequenze limitanti che poi danno risposte diverse.

— Simon Byrne
fonte

La ringrazio per la risposta. Il problema delle costanti di proporzionalità può essere evitato usando gli stessi impropri precedenti su parametri comuni, come i parametri di posizione e scala, come menzionato in The Bayesian Choice pagg. 349. Se capisco bene, il paradosso dell'emarginazione si applica solo ai priori con un certa struttura.

— Jeffrey,

Il problema sarà che domineranno casi irrealistici: se hai un'uniforme prima del tuo parametro di posizione, posizionerai 100 volte il peso sull'intervallo [100.200], come faresti su [0,1] (che potrebbe sembrare ridicolo in alcune circostanze).

— Simon Byrne,

Ma il fatto è che i priori impropri non possono essere interpretati in termini probabilistici. Non esiste un tale peso dato che l'interpretazione probabilistica del priore è sparita poiché non è corretta.

— Jeffrey,

Non è probabilistico, ma è ancora una misura, quindi puoi fare confronti relativi (cioè c'è 100x la "massa" sull'intervallo [100.200] come c'è su [0,1]).

— Simon Byrne,

Penso che questa analisi debba essere fatta sul posteriore piuttosto che sul precedente. Ad esempio, alcuni priori corrispondenti sono impropri, come l'Independence Jeffreys per il caso normale . Puoi applicare questa interpretazione su questo precedente, ma questo precedente produce intervalli posteriori con grandi proprietà frequentatrici. In questo caso, i casi non realistici non dominano. (Grazie per la discussione, comunque)

π (μ, σ) \propto σ^{- 1}

$\pi(\mu,\sigma)\propto \sigma^{-1}$

— Jeffrey,