Aggiornamento di un fattore Bayes

Un fattore di Bayes è definito nel test bayesiano dell'ipotesi e nella selezione del modello bayesiano dal rapporto di due probabilità marginali: dato un campione iid e le rispettive densità di campionamento e , con corrispondenti priori e , il fattore Bayes per confrontare i due modelli è Un libro che sto recensendo ha la strana affermazione che il suddetto fattore di Bayes $(x_1,\ldots,x_n)$ $f_1(x|\theta)$ $f_2(x|\eta)$ $\pi_1$ $\pi_2$

B_{12} (x_{1}, \dots, x_{n}) \overset{def}{=} \frac{m_{1} (x_{1}, \dots, x_{n})}{m_{2} (x_{1}, \dots, x_{n})} \overset{def}{=} \frac{\int \prod_{i = 1}^{n} f_{1} (x_{i} | θ) π_{1} (d θ)}{\int \prod_{i = 1}^{n} f_{2} (x_{i} | η) π_{2} (d η)}

$\mathfrak{B}_{12}(x_1,\ldots,x_n)\stackrel{\text{def}}{=}\frac{m_1(x_1,\ldots,x_n)}{m_2(x_1,\ldots,x_n)}\stackrel{\text{def}}{=}\frac{\int \prod_{i=1}^n f_1(x_i|\theta)\pi_1(\text{d}\theta)}{\int \prod_{i=1}^n f_2(x_i|\eta)\pi_2(\text{d}\eta)}$

B_{12} (x_{1}, \dots, x_{n})

$\mathfrak{B}_{12}(x_1,\ldots,x_n)$ è "formato moltiplicando insieme i singoli [fattori di Bayes]" (p.118). Ciò è formalmente corretto se si utilizza la decomposizione ma non vedo un vantaggio computazionale in questa scomposizione come aggiornamento di richiede lo stesso sforzo computazionale del calcolo originale di

\begin{aligned} B_{12} (x_{1}, \dots, x_{n}) & = \frac{m_{1} (x_{1}, \dots, x_{n})}{m_{2} (x_{1}, \dots, x_{n})} \\ = \frac{m_{1} (x_{n} | x_{1}, \dots, x_{n - 1})}{m_{2} (x_{n} | x_{1}, \dots, x_{n - 1})} \times \frac{m_{1} (x_{n - 1} | x_{n - 2}, \dots, x_{1})}{m_{2} (x_{n - 1} | x_{n - 2}, \dots, x_{1})} \times \dots \\ \dots \times \frac{m_{1} (x_{1})}{m_{2} (x_{1})} \end{aligned}

$\begin{align*}\mathfrak{B}_{12}(x_1,\ldots,x_n)&=\frac{m_1(x_1,\ldots,x_n)}{m_2(x_1,\ldots,x_n)}\\&=\frac{m_1(x_n|x_1,\ldots,x_{n-1})}{m_2(x_n|x_1,\ldots,x_{n-1})}\times \frac{m_1(x_{n-1}|x_{n-2},\ldots,x_1)}{m_2(x_{n-1}|x_{n-2},\ldots,x_1)}\times\cdots\\&\qquad\cdots\times\frac{m_1(x_1)}{m_2(x_1)}\end{align*}$

\frac{m_{1} (x_{n} | x_{1}, \dots, x_{n - 1})}{m_{2} (x_{n} | x_{1}, \dots, x_{n - 1})}

$\frac{m_1(x_n|x_1,\ldots,x_{n-1})}{m_2(x_n|x_1,\ldots,x_{n-1})}$

\frac{m_{1} (x_{1}, \dots, x_{n})}{m_{2} (x_{1}, \dots, x_{n})}

$\frac{m_1(x_1,\ldots,x_n)}{m_2(x_1,\ldots,x_n)}$ fuori esempi di giocattoli artificiali.

Domanda: esiste un modo generico e computazionalmente efficiente di aggiornare il fattore Bayes da a che non richiede il ricalcolo dell'intero margine e ? $\mathfrak{B}_{12}(x_1,\ldots,x_n)$ $\mathfrak{B}_{12}(x_1,\ldots,x_{n+1})$ $m_1(x_1,\ldots,x_n)$ $m_2(x_1,\ldots,x_n)$

La mia intuizione è che, oltre ai filtri antiparticolato, che in effetti procedono nella stima dei fattori di Bayes $\mathfrak{B}_{12}(x_1,\ldots,x_n)$ una nuova osservazione alla volta, non esiste un modo naturale di rispondere a questa domanda .

— Xi'an
fonte

Non mi sembra chiaro che la formulazione implichi necessariamente una fattorizzazione sequenziale , dal momento che le osservazioni sono escluse. Durante la scuola elementare, un professore ha affermato che il prodotto implica che si potrebbero usare approssimazioni asintotiche per le analisi bayesiane ma stranamente questo non ha preso piede (sarcasmo). Forse il libro potrebbe suggerirlo?

— Cliff AB,

@CliffAB: Sì, potresti riscrivere la probabilità come media di singoli termini, convergendo a una distanza di Kullback-Leibler dalla vera distribuzione. Ma non penso che sia così, anche se il libro non è abbastanza chiaro da tenere aperte tutte le opzioni.

— Xi'an,

Credo che ci sia un refuso nella seconda equazione visualizzata: dovrebbe essere nel secondo fattore sulla seconda riga?

m_{1} (x_{n - 1} | x_{n - 1}, \dots, x_{1})

$m_1(x_{n-1}|x_{n-1}, \ldots, x_1)$

— jochen

Presumibilmente lo scopo di un'equazione ricorsiva per il fattore Bayes sarebbe quando hai già calcolato il fattore Bayes per punti dati e vuoi essere in grado di aggiornarlo con un punto dati aggiuntivo. Sembra che sia possibile farlo senza ricalcolare i margini del vettore di dati precedente, purché sia nota la forma della funzione posteriore . Supponendo che conosciamo la forma di questa funzione (e assumendo i dati IID come nella tua domanda), la densità predittiva può essere scritta come: $n$ $\pi_n$

\begin{aligned} m (X_{n + 1} | X_{1}, . . ., X_{n}) & = \int_{Θ} f (X_{n + 1} | θ) π_{n} (d θ | X_{1}, . . ., X_{n}) . \end{aligned}

$\begin{equation} \begin{aligned} m(x_{n+1} | x_1,...,x_n) &= \int \limits_\Theta f(x_{n+1}|\theta) \pi_n(d \theta | x_1,...,x_n). \\[6pt] \end{aligned} \end{equation}$

Quindi, hai:

\begin{aligned} m (X_{1}, . . ., X_{n + 1}) & = m (X_{1}, . . ., X_{n}) \int_{Θ} f (X_{n + 1} | θ) π_{n} (d θ | X_{1}, . . ., X_{n}) . \end{aligned}

$\begin{equation} \begin{aligned} m(x_1,...,x_{n+1}) &= m(x_1,...,x_n) \int \limits_\Theta f(x_{n+1}|\theta) \pi_n(d \theta | x_1,...,x_n). \\[6pt] \end{aligned} \end{equation}$

Confrontando due classi di modelli tramite il fattore Bayes, otteniamo quindi l'equazione ricorsiva:

\begin{aligned} B_{12} (X_{1}, . . ., X_{n + 1}) & = B_{12} (X_{1}, . . ., X_{n}) \cdot \frac{\int_{Θ_{1}} f (X_{n + 1} | θ) π_{1, n} (d θ | X_{1}, . . ., X_{n})}{\int_{Θ_{2}} f (X_{n + 1} | θ) π_{2, n} (d θ | X_{1}, . . ., X_{n})} . \end{aligned}

$\begin{equation} \begin{aligned} \mathfrak{B}_{12}(x_1,...,x_{n+1}) &= \mathfrak{B}_{12}(x_1,...,x_{n}) \cdot \frac{\int _{\Theta_1} f(x_{n+1}|\theta) \pi_{1,n}(d \theta | x_1,...,x_n)}{\int _{\Theta_2} f(x_{n+1}|\theta) \pi_{2,n}(d \theta | x_1,...,x_n)}. \\[6pt] \end{aligned} \end{equation}$

Ciò implica ancora l'integrazione nell'intervallo di parametri, quindi sono d'accordo con la tua opinione sul fatto che non sembra esserci alcun vantaggio computazionale rispetto al solo ricalcolare il fattore Bayes tramite la formula iniziale che dai. Tuttavia, è possibile notare che ciò non richiede di ricalcolare i margini per il vettore di dati precedente. (Invece calcoliamo le densità predittive del nuovo punto dati in base ai dati precedenti, sotto ciascuna delle classi del modello.) Come te, non vedo davvero alcun vantaggio computazionale di questo, a meno che non accada che questa formula integrale si semplifichi facilmente. In ogni caso, suppongo che ti dia un'altra formula per aggiornare il fattore Bayes.

— Ben - Ripristina Monica
fonte

Grazie. È vero che non è necessario ricalcolare i margini, rigorosamente sensu , ma la quantità di calcolo sembra essere la stessa, come si nota.

— Xi'an,

L'unico vantaggio che mi viene in mente è che dato che ora ci stiamo integrando solo su una singola densità (piuttosto che il prodotto di densità), l'integrando sarà meno volatile, e quindi quest'ultima formula potrebbe rendere più facile evitare problemi di underflow in calcolo. Questo è forse un grosso problema.

n

$n$

— Ben - Ripristina Monica l'