Perché la distribuzione posteriore nell'inferenza bayesiana è spesso intrattabile?

Ho un problema a capire perché l'inferenza bayesiana porta a problemi intrattabili. Il problema viene spesso spiegato in questo modo:

Quello che non capisco è perché questo integrale debba essere valutato in primo luogo: mi sembra che il risultato dell'integrale sia semplicemente una costante di normalizzazione (come viene dato il set di dati D). Perché non si può semplicemente calcolare la distribuzione posteriore come numeratore del lato destro e quindi dedurre questa costante di normalizzazione richiedendo che l'integrale sulla distribuzione posteriore debba essere 1?

Cosa mi sto perdendo?

Grazie!

bayesian inference

— Arni
fonte

A chi può interessare: questa domanda è assolutamente in argomento perché si tratta di statistiche.

— Sycorax dice di reintegrare Monica il

L'estratto è scritto male. Essere consapevoli del fatto che

non è la distribuzione posteriore; è la probabilità incondizionata dei dati (cioè, indipendentemente da theta). Poiché

sarà lo stesso per tutti i modelli considerati per lo stesso set di dati, non è necessario che sia necessariamente calcolato. In caso contrario, è sufficiente modificare il segno di uguale in "proporzionale a" (

P (D)

$P(\mathcal D)$

P (D)

$P(\mathcal D)$

\propto

$\propto$

— gung - Ripristina Monica

Potresti fornire il riferimento di quella diapositiva come presumo sia stata scritta da qualcun altro?

— Xi'an,

p (D)

$p(\mathcal{D})$

Attualmente stiamo organizzando un seminario sulla normalizzazione delle costanti in cui è possibile trovare voci interessanti per rispondere a questa domanda.

— Xi'an,

Risposte:

Perché non si può semplicemente calcolare la distribuzione posteriore come numeratore del lato destro e quindi dedurre questa costante di normalizzazione richiedendo che l'integrale sulla distribuzione posteriore debba essere 1?

P (θ | D) = \frac{p (D | θ) P (θ)}{P (D)} .

$P(\theta|D) = \dfrac{p(D|\theta) \, P(\theta)}{P(D)}.$

$P(D|\theta)P(\theta)$ $\theta$ $c$

\begin{aligned} \int_{θ} c P (D | θ) P (θ) d θ = 1 \\ \Rightarrow & \int_{θ} c P (D, θ) d θ = 1 \\ \Rightarrow & c P (D) = 1 \\ \Rightarrow & c = \frac{1}{P (D)} . \end{aligned}

$\begin{align*} &\int_{\theta} cP(D|\theta) \, P(\theta)\, d\theta = 1\\ \Rightarrow & \int_{\theta} cP(D, \theta) \, d\theta = 1\\ \Rightarrow & cP(D) = 1\\ \Rightarrow& c = \dfrac{1}{P(D)}. \end{align*}$

$P(D)$

— Greenparker
fonte

θ

$\theta$

Ho avuto la stessa domanda. Questo fantastico post lo spiega davvero bene.

In poche parole. È intrattabile perché il denominatore deve valutare la probabilità di TUTTI i possibili valori di 𝜃; nella maggior parte dei casi interessanti TUTTO è una grande quantità. Considerando che il numeratore è per una singola realizzazione di 𝜃.

Vedi Eq. 4-8 nel post. Schermata del collegamento:

— arraval
fonte