Comprensione delle distribuzioni predittive bayesiane

9

Sto prendendo un corso di introduzione a Bayes e ho qualche difficoltà a capire le distribuzioni predittive. Capisco perché sono utili e ho familiarità con la definizione, ma ci sono alcune cose che non capisco bene.

1) Come ottenere la giusta distribuzione predittiva per un vettore di nuove osservazioni

Supponiamo di aver creato un modello di campionamento per i dati e un precedente . Supponiamo che le osservazioni siano condizionatamente indipendenti date . $p(y_i | \theta)$ $p(\theta)$ $y_i$ $\theta$

Abbiamo osservato alcuni dati e aggiorniamo la nostra precedente alla parte posteriore . $\mathcal{D} = \{y_1, y_2, \, ... \, , y_k\}$ $p(\theta)$ $p(\theta | \mathcal{D})$

Se volessimo prevedere un vettore di nuove osservazioni $\mathcal{N} = \{\tilde{y}_1, \tilde{y}_2, \, ... \, , \tilde{y}_n\}$ , I penso che dovremmo provare a ottenere il predittivo posteriore usando questa formula

p (N | D) = \int p (θ | D) p (N | θ) d θ = \int p (θ | D) \prod_{i = 1}^{n} p ({\tilde{y}}_{i} | θ) d θ,

$p(\mathcal{N} | \mathcal{D}) = \int p(\theta | \mathcal{D}) p ( \mathcal{N} | \theta) \, \mathrm{d} \theta = \int p(\theta | \mathcal{D}) \prod_{i=1}^n p(\tilde{y}_i | \theta) \, \mathrm{d} \theta,$ che non è uguale a

\prod_{i = 1}^{n} \int p (θ | D) p ({\tilde{y}}_{i} | θ) d θ,

$\prod_{i=1}^n \int p(\theta | \mathcal{D}) p(\tilde{y}_i | \theta) \, \mathrm{d} \theta,$ quindi le osservazioni previste non sono indipendenti, giusto?

Dì che $\theta | \mathcal{D} \sim$ Beta ( $a,b$ ) e $p(y_i | \theta) \sim$ Binomial ( $n, \theta$ ) per un fisso $n$ . In questo caso, se volessi simulare 6 new $\tilde{y}$ , se lo capissi correttamente, sarebbe sbagliato simulare 6 disegni indipendentemente dalla distribuzione Beta-Binomiale che corrisponde alla previsione posteriore per una singola osservazione. È corretto? Non so come interpretare che le osservazioni non sono marginalmente indipendenti e non sono sicuro di averlo capito correttamente.

Simulazione da predittivi posteriori

Molte volte quando simuliamo i dati dal predittivo posteriore seguiamo questo schema:

Per $b$ da 1 a $B$ :

1) Campione da . $\theta^{(b)}$ $p(\theta | \mathcal{D})$

2) Quindi simulare nuovi dati da . $\mathcal{N}^{(b)}$ $p(\mathcal{N} | \theta^{(b)})$

Non so proprio come provare che questo schema funzioni, anche se sembra intuitivo. Inoltre, questo ha un nome? Ho provato a cercare una giustificazione e ho provato nomi diversi, ma non ho avuto fortuna.

Grazie!

bayesian prediction

— Fred L.
fonte

Ho fatto una domanda simile su stats.stackexchange.com/questions/72570/… ma sembra che il tuo abbia ricevuto finora più voti positivi .

— Giovanni,

4

Supponiamo che siano condizionatamente indipendenti dato che . Quindi, in cui la prima uguaglianza segue dalla legge della probabilità totale, la seconda segue dalla regola del prodotto e la terza dalla presunta indipendenza condizionale: dato il valore di $X_1,\dots,X_n,X_{n+1}$ $\Theta=\theta$

f_{X_{n + 1} ∣ X_{1}, \dots, X_{n}} (x_{n + 1} ∣ x_{1}, \dots, x_{n}) = \int f_{X_{n + 1}, Θ ∣ X_{1}, \dots, X_{n}} (x_{n + 1}, θ ∣ x_{1}, \dots, x_{n}) d θ

$f_{X_{n+1}\mid X_1,\dots,X_n}(x_{n+1}\mid x_1,\dots,x_n) = \int f_{X_{n+1},\Theta\mid X_1,\dots,X_n}(x_{n+1},\theta\mid x_1,\dots,x_n)\,d\theta$

= \int f_{X_{n + 1} ∣ Θ, X_{1}, \dots, X_{n}} (x_{n + 1} ∣ θ, x_{1}, \dots, x_{n}) f_{Θ ∣ X_{1}, \dots, X_{n}} (θ ∣ x_{1}, \dots, x_{n}) d θ

$= \int f_{X_{n+1}\mid\Theta,X_1,\dots,X_n}(x_{n+1}\mid\theta,x_1,\dots,x_n) f_{\Theta\mid X_1,\dots,X_n}(\theta\mid x_1,\dots,x_n) \, d\theta$

= \int f_{X_{n + 1} ∣ Θ} (x_{n + 1} ∣ θ) f_{Θ ∣ X_{1}, \dots, X_{n}} (θ ∣ x_{1}, \dots, x_{n}) d θ,

$= \int f_{X_{n+1}\mid\Theta}(x_{n+1}\mid\theta) f_{\Theta\mid X_1,\dots,X_n}(\theta\mid x_1,\dots,x_n) \, d\theta \, ,$

Θ

$\Theta$ , non abbiamo bisogno dei valori di per determinare la distribuzione di .

X_{1}, \dots, X_{n}

$X_1,\dots,X_n$

X_{n + 1}

$X_{n+1}$

Lo schema di simulazione è corretto: per , disegna dalla distribuzione di , quindi disegna dalla distribuzione di . Questo ti dà un esempio dalla distribuzione di . $i=1,\dots,N$ $\theta^{(i)}$ $\Theta\mid X_1=x_1,\dots,X_n=x_n$ $x_{n+1}^{(i)}$ $X_{n+1}\mid\Theta=\theta^{(i)}$ $\{x_{n+1}^{(i)}\}_{i=1}^N$ $X_{n+1}\mid X_1=x_1,\dots,X_n=x_n$

— zen
fonte

Che dire se stai ottenendo la previsione posteriore per più periodi? Ho usato per ogni , ma vedo perché potrebbe avere senso ridisegnare un nuovo theta.

θ^{(i)}

$\theta^{\left(i\right)}$

x_{n + j}

$x_{n+j}$

— John,

2

Proverò a esaminare l'intuizione dietro la generazione passo dopo passo della distribuzione predittiva posteriore.

Sia un vettore di dati osservati che provengono da una distribuzione di probabilità e che sia un vettore di valori futuri (o fuori campione) che vogliamo prevedere. Partiamo dal presupposto che provenga dalla stessa distribuzione di . Potrebbe essere allettante utilizzare la nostra migliore stima di --- come la stima MLE o MAP --- per ottenere informazioni su questa distribuzione. Tuttavia, fare ciò inevitabilmente ignorerebbe la nostra incertezza su . Pertanto, il modo appropriato di procedere è la media della distribuzione posteriore di , ovvero . Nota anche che $y$ $p(y|\theta)$ $\tilde y$ $\tilde y$ $y$ $\theta$ $\theta$ $\theta$ $p(\theta|y)$ $\tilde y$ è indipendente da dato , poiché si presume che sia un campione indipendente estratto dalla stessa distribuzione di . Così, $y$ $\theta$ $y$

p (\tilde{y} | θ, y) = \frac{p (\tilde{y}, y | θ) p (θ)}{p (θ, y)} = \frac{p (\tilde{y} | θ) p (y | θ) p (θ)}{p (y | θ) p (θ)} = p (\tilde{y} | θ) .

$\displaystyle p(\tilde y| \theta, y) = \frac{p(\tilde y, y|\theta )p(\theta)}{p(\theta, y)} = \frac{p(\tilde y|\theta )p(y |\theta) p(\theta)}{p(y| \theta)p(\theta)} = p(\tilde y |\theta).$

La distribuzione predittiva posteriore di è quindi $\tilde y$

p (\tilde{y} | y) = \int_{Θ} p (\tilde{y} | θ, y) p (θ | y) d θ = \int_{Θ} p (\tilde{y} | θ) p (θ | y) d θ

dove è il supporto di . $\Theta$ $\theta$

Ora, come possiamo ottenere i campioni da ? Il metodo che descrivi a volte è chiamato il metodo di composizione , che funziona come segue: $p(\tilde y|y)$

per s = 1,2, ..., S do

disegna da $\theta^{(s)}$ $p(\theta|y)$

disegna da $\tilde y^{(s)}$ $p(\tilde y|\theta^{(s)})$

dove, nella maggior parte dei casi, abbiamo già i disegni da , quindi è richiesto solo il secondo passaggio. $p(\theta|y)$

Il motivo per cui funziona è abbastanza semplice: prima nota che . Quindi, campionando un vettore di parametri da e, quindi, usando questo vettore per campionare da produce campioni dalla distribuzione congiunta . Ne segue che i valori campionati sono campioni della distribuzione marginale, . $p(\tilde y, \theta | y) = p(\tilde y| \theta, y)p(\theta | y)$ $\theta^{(s)}$ $p(\theta|y)$ $\tilde y^{(s)}$ $p(\tilde y | \theta^{(s)}) = p(\tilde y | \theta^{(s)}, y)$ $p(\tilde y, \theta|y)$ $\tilde y^{(s)}, s=1,2,...,S$ $p(\tilde y|y)$

— baruuum
fonte

1

Per rispondere alla tua prima domanda: sì, le osservazioni non sono indipendenti se non conosci il valore di . Supponiamo che tu abbia osservato che ha un valore piuttosto estremo. Potrebbe essere un'indicazione che il valore sconosciuto di stesso è estremo e, quindi, dovresti aspettarti che anche altre osservazioni siano estreme. $\theta$ $\tilde{y}_1$ $\theta$

— hr0nix
fonte