Aggiornamento bayesiano con nuovi dati

Come possiamo calcolare un posteriore con un precedente N ~ (a, b) dopo aver osservato n punti dati? Suppongo che dobbiamo calcolare la media del campione e la varianza dei punti dati e fare una sorta di calcolo che combini il posteriore con il precedente, ma non sono sicuro di come sia la formula della combinazione.

L'idea di base dell'aggiornamento bayesiano è quella data alcuni dati $X$ e un precedente parametro di interesse $\theta$ , dove la relazione tra dati e parametro è descritta usando la funzione di verosimiglianza , si usa il teorema di Bayes per ottenere posteriore

$$p(\theta \mid X) \propto p(X \mid \theta) \, p(\theta)$$

Questo può essere fatto in sequenza, dove dopo aver visto il primo punto dati precedente θ si aggiorna al posteriore θ ′ , successivamente è possibile prendere il secondo punto dati x 2 e utilizzare il posteriore ottenuto prima di θ ′ come precedente , per aggiornarlo di nuovo ecc.$x_1$ $\theta$ $\theta'$$x_2$$\theta'$

Lasciate che vi faccia un esempio. Immagina di voler stimare la media della distribuzione normale e che σ 2 ti è noto. In tal caso possiamo usare il modello normale-normale. Partiamo dal presupposto normale per μ con iperparametri μ 0 , σ 2 0$\mu$$\sigma^2$$\mu$$\mu_0,\sigma_0^2:$

$$\begin{align} X\mid\mu &\sim \mathrm{Normal}(\mu,\ \sigma^2) \\ \mu &\sim \mathrm{Normal}(\mu_0,\ \sigma_0^2) \end{align}$$

Poiché la distribuzione normale è un coniugato precedente per della distribuzione normale, abbiamo una soluzione in forma chiusa per aggiornare il precedente$\mu$

$$\begin{align} E(\mu' \mid x) &= \frac{\sigma^2\mu + \sigma^2_0 x}{\sigma^2 + \sigma^2_0} \\[7pt] \mathrm{Var}(\mu' \mid x) &= \frac{\sigma^2 \sigma^2_0}{\sigma^2 + \sigma^2_0} \end{align}$$

Sfortunatamente, tali semplici soluzioni in forma chiusa non sono disponibili per problemi più sofisticati e devi fare affidamento su algoritmi di ottimizzazione (per stime puntuali utilizzando il massimo approccio a posteriori ) o simulazione MCMC.

Di seguito puoi vedere un esempio di dati:

n <- 1000
set.seed(123)
x     <- rnorm(n, 1.4, 2.7)
mu    <- numeric(n)
sigma <- numeric(n)

mu[1]    <- (10000*x[i] + (2.7^2)*0)/(10000+2.7^2)
sigma[1] <- (10000*2.7^2)/(10000+2.7^2)
for (i in 2:n) {
  mu[i]    <- ( sigma[i-1]*x[i] + (2.7^2)*mu[i-1] )/(sigma[i-1]+2.7^2)
  sigma[i] <- ( sigma[i-1]*2.7^2                  )/(sigma[i-1]+2.7^2)
}

Se traccia i risultati, vedrai come il valore posteriore si avvicina al valore stimato (il suo valore reale è contrassegnato da una linea rossa) man mano che vengono accumulati nuovi dati.

Per saperne di più puoi consultare quelle diapositive e l'analisi coniugale bayesiana del documento di distribuzione gaussiana di Kevin P. Murphy. Controlla anche I priori bayesiani diventano irrilevanti con campioni di grandi dimensioni? Puoi anche controllare quelle note e questo post di blog per un'introduzione passo-passo accessibile all'inferenza bayesiana.

$P(\theta)$$P(x \mid \theta)$

$$P(\theta \mid x) = \frac{\sum_\theta P(x \mid \theta) P(\theta)}{P(x)}$$

$P(x)$

$$P(\theta \mid x) \sim \sum_\theta P(x \mid \theta)P(\theta)$$

$\sim$

Il caso dei priori coniugati (dove spesso ottieni belle formule a forma chiusa)

$\boldsymbol{\theta}$$P(\boldsymbol{\theta})$$P(\mathbf{x} \mid \boldsymbol{\theta})$$P(\boldsymbol{\theta})$ $P(\boldsymbol{\theta} \mid \mathbf{x})$

La tabella delle distribuzioni coniugate può aiutare a costruire un po 'di intuizione (e anche dare alcuni esempi istruttivi per lavorare attraverso te stesso).

Questo è il problema di calcolo centrale per l'analisi dei dati bayesiani. Dipende davvero dai dati e dalle distribuzioni coinvolte. Per casi semplici in cui tutto può essere espresso in forma chiusa (ad esempio, con i coniugati priori), è possibile utilizzare direttamente il teorema di Bayes. La famiglia di tecniche più popolare per i casi più complessi è la catena di Markov Monte Carlo. Per i dettagli, consultare qualsiasi libro di testo introduttivo sull'analisi dei dati bayesiani.