Quale sarebbe un esempio di un modello davvero semplice con una probabilità intrattabile?

Il calcolo approssimativo bayesiano è una tecnica davvero interessante per adattarsi praticamente a qualsiasi modello stocastico, destinato a modelli in cui la probabilità è intrattabile (diciamo, è possibile campionare dal modello se si correggono i parametri ma non è possibile calcolare numericamente, algoritmicamente o analiticamente la probabilità). Quando si introduce un calcolo bayesiano approssimativo (ABC) ad un pubblico, è bello usare un modello esemplificativo che è davvero semplice ma comunque un po 'interessante e che ha una probabilità intrattabile.

Quale sarebbe un buon esempio di un modello davvero semplice che ha ancora una probabilità intrattabile?

— Rasmus Bååth
fonte

Il tuo esempio di calze è davvero semplice e per lo più intrattabile ...

— Xi'an,

Ps: Il link esempio calzini ...

— Xi'an

Beh, speravo che le calze fossero intrattabili, ma hai dimostrato che non lo era, giusto? :)

— Rasmus Bååth l'

Questa è una buona domanda! Ci sono vari esempi di giocattoli in letteratura, ma mi sembrano un po 'artificiali. Sarebbe bello avere un modello davvero semplice motivato da una vera applicazione con una probabilità intrattabile. Mi sembra di ricordare di aver visto David Cox presentare qualcosa del genere, ma non l'ho visto pubblicato ...

— Dennis Prangle,

Risposte:

Due distribuzioni molto utilizzate in letteratura sono:

La distribuzione g-and-k. Questo è definito dalla sua funzione quantile (inverso cdf) ma ha una densità intrattabile. Rayner e MacGillivray (2002) ne danno una buona visione d'insieme, e uno dei tanti documenti della ABC che lo usano come esempio di giocattoli è Drovandi e Pettitt (2011) .
Distribuzioni alfa stabili. Questi sono definiti dalla loro funzione caratteristica ma hanno una densità intrattabile, tranne per un paio di casi speciali. Questo ha applicazioni in ambito finanziario ed è spesso usato in articoli sequenziali della ABC, ad esempio Yildirim et al (2013) .

— Dennis Prangle
fonte

La distribuzione g-and-k è un ottimo esempio in cui la funzione quantile è semplice da esprimere mentre la funzione di probabilità non è affatto disponibile:

Q (u; A, B, g, K) = UN + B [1 + c \frac{1 - \exp {- g Φ (u)}}{1 + \exp {- g Φ (u)}}] {1 + Φ (u)^{2}}^{K} Φ (u)

$Q(u;A,B,g,k)=A + B\left[1+c\dfrac{1-\exp\{-g\Phi(u)\}}{1+\exp\{-g\Phi(u)\}}\right]\{1+\Phi(u)^2\}^k\Phi(u)$

α

$\alpha$

Qualcuno potrebbe aggiungere esempi di situazioni che si potrebbero modellare con queste distribuzioni?

— congetture il

Un esempio che ho trovato alcune settimane fa e abbastanza simile per la sua semplicità è il seguente: dato un set di dati normale originale

X_{1}, ..., X_{n} \overset{iid}{~} N (θ, σ^{2}),

$x_1,\ldots,x_n\stackrel{\text{iid}}{\sim}\text{N}(\theta,\sigma^2)\,,$ i dati riportati sono (ahimè!) fatti del riassunto bidimensionale

S (X_{1}, ..., X_{n}) = (med (X_{1}, ..., X_{n}), pazzo (X_{1}, ..., X_{n})),

$S(x_1,\ldots,x_n)=(\text{med}(x_1,\ldots,x_n),\text{mad}(x_1,\ldots,x_n))\,,$ che non è sufficiente e che non ha una densità articolare in forma chiusa.

— Xi'an
fonte

Solo perché la densità articolare è complicata da scrivere non significa che non abbia una forma chiusa! "Intrattabile" sta iniziando a sembrare una questione di opinione in questo thread. Forse potresti chiarirlo spiegando cosa intendi con "intrattabile"?

— whuber

Dal momento che non faccio a nessuno di coloro che sono in grado di calcolare questa densità, lo chiamo intrattabile ... Dal momento che non ho un programma per computer in grado di produrre il valore numerico di questa probabilità, sono costretto a usare un algoritmo ABC.

— Xi'an,

ABC non calcola la probabilità ma utilizza simulazioni dai dati per fornire un campione di parametri che è un'approssimazione del vero posteriore. Alla fine della giornata / calcolo, non sono più saggio della funzione di verosimiglianza e non riesco a produrre un valore numerico per

L (θ | x_{1}, \dots, x_{n})

$L(\theta|x_1,\ldots,x_n)$ .

— Xi'an,

@whuber Se si potesse calcolare con successo la probabilità, l'esempio non sarebbe molto adatto per dimostrare un algoritmo per approssimare i posteriori senza calcolare la probabilità

\times

$\times$ prodotti precedenti.

— Juho Kokkala,

@whuber Penso che la tua interpretazione (2) nel commento che inizia "Quello che mi chiedo" sia almeno essenzialmente quella voluta. Tuttavia, non capisco la tua ultima osservazione "a meno che il tuo algoritmo ABC non stia impiegando molto tempo per essere eseguito" - il punto della domanda è che la costosa valutazione della probabilità sarà evitata usando invece ABC.

— Juho Kokkala,