Una probabilità verosimile ed esponenziale può portare a un posteriore improprio?

(Questa domanda è ispirata da questo commento di Xi'an .)

È noto che se la distribuzione precedente è corretta e la probabilità è ben definita, allora la distribuzione posteriore è corretto quasi sicuramente. $\pi(\theta)$ $L(\theta | x)$ $\pi(\theta|x)\propto \pi(\theta) L(\theta|x)$

In alcuni casi, utilizziamo invece una probabilità temperata o esponenziale, portando a uno pseudo-posteriore

\tilde{π} (θ | x) \propto π (θ) L (θ | x)^{α}

$\tilde\pi(\theta|x)\propto \pi(\theta) L(\theta|x)^\alpha$

per alcuni (ad esempio, questo può avere vantaggi computazionali).

α > 0

$\alpha>0$

In questa impostazione, è possibile avere un pseudo-posteriore corretto prima ma improprio?

bayesian prior posterior

— Robin Ryder
fonte

In realtà, pochi minuti dopo, lo riterrei improbabile poiché la divergenza del precedente prodotto di probabilità x si riduce quando si considera il precedente rischio di x ^ prodotto α ... Qualsiasi sterna che va all'infinito sta andando più lentamente lì! E i termini che vanno a zero più lentamente sono controllati dal precedente appropriato. La mia scommessa è quindi che questo è impossibile. (avvertimento: ho saputo che avevo torto!)

— Xi'an,

Forse utile nel cercare un controesempio quando : la disuguaglianza di Markov ci dice che Quindi, se riesci a trovare un caso in cui ha code polinomiali, allora puoi eventualmente costruire uno pseudo-posteriore improprio.

α > 1

$\alpha > 1$

E_{θ \sim π} [L (x | θ)^{α}] ⩾ t^{α} P_{θ \sim π} (L (x | θ) > t) ⟹ E_{θ \sim π} [L (x | θ)^{α}] ⩾ sup_{t > 0} t^{α} P_{θ \sim π} (L (x | θ) > t)

$\mathbf{E}_{\theta \sim \pi} \left[ L(x| \theta)^\alpha \right] \geqslant t^\alpha \mathbf{P}_{\theta \sim \pi} (L(x| \theta) > t) \\ \implies \mathbf{E}_{\theta \sim \pi} \left[ L(x| \theta)^\alpha \right] \geqslant \sup_{t > 0} t^\alpha \mathbf{P}_{\theta \sim \pi} (L(x| \theta) > t)$

L (x | θ)

$L(x| \theta)$

— 8

Questo argomento funzionerebbe anche con ? Inoltre, c'è un modo per dimostrare che una probabilità costruita in questo modo sarebbe corretta?

α < 1

$\alpha < 1$

— InfProbSciX,

In realtà, per , poiché sappiamo che , il supremum su RHS è sempre finito, e per , si usa l'argomento Jensen per fare la stessa deduzione. Quindi l'argomento fallisce sotto questo aspetto. Una piccola osservazione che questo argomento richiede una probabilità illimitata per avere successo, cioè per tutte le .

α = 1

$\alpha =1$

E_{π} [L (x | θ)] < \infty

$\mathbf{E}_{\pi} [L (x | \theta)] < \infty$

α < 1

$\alpha < 1$

L

$L$

P_{π} (L (x | θ) > t) > 0

$\mathbf{P}_\pi (L (x | \theta) > t) > 0$

t

$t$

— 8

È vero, per , non puoi costruirne uno, buon punto! Devo dire che sarei affascinato nel vedere un esempio di probabilità illimitata! Forse un beta posteriore sarebbe il risultato di una probabilità illimitata.

α = 1

$\alpha = 1$

— InfProbSciX,

Risposte:

Per , forse questo è un argomento per dimostrare che è impossibile costruire un simile posteriore? $\alpha \leq 1$

Vorremmo scoprire se è possibile per . $\int \tilde \pi(\theta|x)d\theta = \infty$

Su RHS:

\int π (θ) L^{α} (θ | x) d θ = E_{θ} (L^{α} (θ | x))

$\int \pi(\theta) L^{\alpha}(\theta|x) d\theta = E_{\theta}(L^{\alpha}(\theta|x))$

Se , è una funzione concava, quindi dalla disuguaglianza di Jensen: $\alpha \leq 1$ $x^{\alpha}$

E_{θ} (L^{α} (θ | x)) \leq E_{θ}^{α} (L (θ | x)) = m (x)^{α} < \infty

$E_{\theta}(L^{\alpha}(\theta|x)) \leq E^{\alpha}_{\theta}(L(\theta|x)) = m(x)^\alpha < \infty$

... dove come ha sottolineato Xi'an, è la costante normalizzante (l'evidenza). $m(x)$

— InfProbSciX
fonte

Bene, grazie. Mi piace che stai usando il fatto che per il posteriore è corretto.

α = 1

$\alpha=1$

— Robin Ryder,

È possibile utilizzare il risultato nella risposta di @ InfProbSciX per dimostrare il risultato in generale. Riscrivi come Se , abbiamo il caso di disuguaglianza di Jensen sopra, poiché sappiamo che è normalizzabile. Allo stesso modo, se , possiamo scrivere con , rientrando nuovamente nello stesso caso, poiché sappiamo che è normalizzabile. Ora si può usare l'induzione (forte) per mostrare il caso in generale. $L(\theta\mid x)^\alpha\pi(\theta)$

L (θ ∣ x)^{α - 1} L (θ ∣ x) π (θ) .

$L(\theta\mid x)^{\alpha-1}L(\theta\mid x)\pi(\theta).$

1 \leq α \leq 2

$1 \leq \alpha \leq 2$

L (x | θ) π (θ)

$L(x|\theta)\pi(\theta)$

2 \leq α \leq 3

$2 \leq \alpha \leq 3$

L (x | θ)^{α - p} L (x | θ)^{p} π (θ),

$L(x|\theta)^{\alpha-p} L(x|\theta)^p\pi(\theta),$

1 \leq p \leq 2

$1 \leq p \leq 2$

L (x | θ)^{p} π (θ)

$L(x|\theta)^{p}\pi(\theta)$

Vecchi commenti

Non sono sicuro se questo sia super utile, ma poiché non posso commentare, lo lascerò in una risposta. Oltre all'eccellente osservazione di @InfProbSciX su , se si fa l'ulteriore supposizione che , allora è impossibile avere un pseudo-posteriore precedente ma improprio per . Ad esempio, se sappiamo che esiste il secondo ( -esimo momento) di , sappiamo che è in ( ) e quindi lo pseudo-posteriore si adatterà a . Sezione 1 di queste note $\alpha \leq 1$ $L(\theta \mid x) \in L^p$ $1 < \alpha \leq p$ $p$ $L(\theta \mid x)$ $L^2$ $L^p$ $0 \leq \alpha \leq 2$ va un po 'più in dettaglio, ma sfortunatamente non è chiaro quanto sia ampia la classe di, diciamo, pdf. Mi scuso se parlo fuori turno qui, volevo davvero lasciare questo come commento. $L^{10}$

— Luiz Max Carvalho
fonte

Hai ragione, se la funzione di verosimiglianza è all'interno dello spazio - ovvero lo spazio scritto la misura indotta dal precedente, quindi il posteriore sarà appropriato per . Sto assolutamente indovinando qui, ma penso che lo spazio comprenda la maggior parte delle probabilità a cui possiamo pensare - Penso che avrei potuto leggere una prova anni fa che dice che se è Riemann integrabile, allora lo sono anche i suoi poteri positivi. è integrabile però. Teorema 1.26 per riferimento

L (θ | x)

$L(\theta|x)$

L^{p} (π_{θ})

$L^p(\bf {\pi_\theta})$

L^{p}

$L^p$

1 \leq α \leq p

$1 \leq \alpha \leq p$

f

$f$

f^{n}, n \in Z^{+}

$f^n, n \in \mathbb Z^+$

— InfProbSciX

@InfProbSciX, penso che potrebbe esserci una prova completa in agguato nell'ombra qui. Prendo dalla tua risposta che può essere negativo. Se ciò è corretto, allora possiamo mostrare che per ogni la pseudo-verosimiglianza sarà integrabile perché i reciproci delle funzioni integrabili sono integrabili. E se la probabilità è integrabile, sostengo che il posteriore sarà integrabile perché il precedente è limitato e il prodotto di una integrabile e una funzione limitata è integrabile ( math.stackexchange.com/a/56008/271610 ). Fatemi sapere cosa ne pensate.

α

$\alpha$

p > 1

$p > 1$

— Luiz Max Carvalho,

Penso che tu possa ignorare il caso in cui , come la domanda presuppone esplicitamente il contrario. È necessario mostrare l'integrabilità di per ogni caso generale. Inoltre, non sono sicuro che il precedente sia sempre limitato, ad esempio, la densità di una non sarebbe.

α < 0

$\alpha < 0$

L^{α}

$L^{\alpha}$

B e t a (0.5, 0.5)

$Beta(0.5, 0.5)$

— InfProbSciX,

@InfProbSciX, intendevo dire che anche se non fosse nella domanda, se anche la tua prova vale per quella condizione, allora potremmo mostrare integrabilità per sfruttando il fatto che se è integrabile allora è . Come dici tu, tutto ciò è nullo se il precedente non ha limiti. Possiamo invece provare a limitare la probabilità e mi sembra che qualsiasi probabilità che si utilizzerebbe in MLE dovrebbe essere limitata o fortemente concava ( en.wikipedia.org/wiki/Maximum_likelihood_estimation#Properties ) entrambi i quali possono essere utilizzati costruire una prova generale. qualche idea?

α < 0

$\alpha < 0$

α > 1

$\alpha > 1$

f

$f$

1 / f

$1/f$

— Luiz Max Carvalho,

Scusa, mi sono perso, sì, sembra che farebbe un tentativo interessante!

— InfProbSciX il