Quali sono i fattori che causano l'intrattabilità delle distribuzioni posteriori?

Nelle statistiche bayesiane, si dice spesso che la distribuzione posteriore è intrattabile e quindi si deve applicare un'inferenza approssimativa. Quali sono i fattori che causano questa intrattabilità?

Il problema è principalmente che l'analisi bayesiana coinvolge integrali , spesso multidimensionali in problemi realistici, e sono questi integrali che sono tipicamente intrattabili analiticamente (tranne in alcuni casi speciali che richiedono l'uso di priori coniugati).

Al contrario, gran parte delle statistiche non bayesiane si basa sulla massima probabilità - trovare il massimo di una funzione (solitamente multidimensionale), che implica la conoscenza dei suoi derivati , cioè la differenziazione. Anche così i metodi numerici vengono utilizzati in molti problemi più complessi, ma è possibile approfondire più spesso senza di essi e i metodi numerici possono essere più semplici (anche se quelli meno semplici possono funzionare meglio nella pratica).

Quindi direi che dipende dal fatto che la differenziazione è più trattabile dell'integrazione.

Ho avuto l'opportunità di porre questa domanda a David Blei di persona, e mi ha detto che l' intrattabilità in questo contesto significa una delle due cose:

1. L'integrale non ha una soluzione in forma chiusa. Questo potrebbe accadere quando modelliamo alcuni dati complessi e reali e semplicemente non possiamo scrivere la distribuzione su carta.

2. L'integrale è computazionalmente non trattabile. Mi ha raccomandato di sedermi con carta e penna e di elaborare le prove marginali per il miscuglio bayesiano di gaussiani. Vedrai che è intrattabile dal punto di vista computazionale, cioè esponenziale. Ne fornisce un bell'esempio in un recente articolo (Vedi 2.1 Il problema dell'inferenza approssimativa ).

FWIW, trovo questa scelta di parole confusa, dal momento che (1) è sovraccarico di significato e (2) è già ampiamente usato in CS per riferirsi solo all'intrattabilità computazionale.

In realtà, ci sono una serie di possibilità:

1. $Y\sim \text{Bin}(n,\pi)$$\pi$$\text{Beta}(a,b)$$p(\pi|Y=y)$$\text{Beta}(a+y,b+n-y)$
2. $Y\sim \text{Bin}(n,\pi)$$\log \pi$$N(\mu, \sigma^2)$$p(\pi|Y=y) \propto p(y|\pi) p(\pi)$
3. $p(y|\pi)$$Y$$\pi$

Le persone di solito significano qualcosa come (2) quando parlano di un posteriore (analiticamente) non trattabile e qualcosa come (3) quando parlano di una probabilità non trattabile. È il terzo caso in cui il calcolo bayesiano approssimativo è una delle opzioni, mentre nel secondo caso i metodi MCMC sono generalmente fattibili (che si può sostenere siano in qualche modo approssimativi). Non sono del tutto sicuro a quale di questi due si riferisca la citazione fornita.

La tracciabilità è correlata alla forma chiusa di un'espressione .

Si dice che i problemi siano trattabili se possono essere risolti in termini di espressione in forma chiusa.

In matematica, un'espressione a forma chiusa è un'espressione matematica che può essere valutata in un numero finito di operazioni. Può contenere costanti, variabili, determinate operazioni "ben note" (ad es. + - × ÷) e funzioni (ad es. Ennesima radice, esponente, logaritmo, funzioni trigonometriche e funzioni iperboliche inverse), ma generalmente nessun limite. L'insieme di operazioni e funzioni ammesse in un'espressione a forma chiusa può variare a seconda dell'autore e del contesto.

Quindi l'intrattabilità significa che c'è un qualche tipo di limite / infinito coinvolto (come la somma infinita negli integrali) che non può essere valutato in un numero finito di operazioni e quindi devono essere utilizzate tecniche di approssimazione (come MCMC).

L'articolo di Wikipedia indica la tesi di Cobham che cerca di formalizzare questa "quantità di operazioni", e quindi la tracciabilità.