Come può un precedente improprio portare a una corretta distribuzione posteriore?

Sappiamo che nel caso di un'adeguata distribuzione precedente,

$P(\theta \mid X) = \dfrac{P(X \mid \theta)P(\theta)}{P(X)}$

$\propto P(X \mid \theta)P(\theta)$ .

La solita giustificazione per questo passaggio è che la distribuzione marginale di , , è costante rispetto a e può quindi essere ignorata quando si ottiene la distribuzione posteriore.$X$$P(X)$$\theta$

Tuttavia, nel caso di un precedente improprio, come fai a sapere che esiste effettivamente la distribuzione posteriore? Sembra che manchi qualcosa in questo argomento apparentemente circolare. In altre parole, se suppongo che il posteriore esista, capisco la meccanica di come derivare il posteriore, ma mi sembra che manchi la giustificazione teorica del perché esiste.

PS Riconosco anche che ci sono casi in cui un precedente improprio porta ad un posteriore improprio.

In genere accettiamo elementi posteriori da priori impropri se esiste ed è una distribuzione di probabilità valida (ad es. si integra esattamente a 1 rispetto al supporto). Essenzialmente questo si riduce a \ pi (X) = \ int \ pi (X \ mid \ theta) \ pi (\ theta) \, d \ theta essendo finito. Se questo è il caso, allora chiamiamo questa quantità \ pi (\ theta \ mid X) e la accettiamo come la distribuzione posteriore che vogliamo. Tuttavia, è importante notare che questa NON è una distribuzione posteriore, né una distribuzione di probabilità condizionale (questi due termini sono sinonimi nel contesto qui).$\pi(\theta)$ π(X)=∫π(X∣θ)π(θ

Ora, ho detto che accettiamo distribuzioni "posteriori" da priori impropri dato quanto sopra. Il motivo per cui sono accettati è perché il precedente ci darà ancora "punteggi" relativi nello spazio dei parametri; cioè, il rapporto dà significato alla nostra analisi. Il significato che otteniamo da priori impropri in alcuni casi potrebbe non essere disponibile in priori propri. Questa è una potenziale giustificazione per usarli. Vedi la risposta di Sergio per un esame più approfondito della motivazione pratica per i priori impropri.π ( θ 1$\pi(\theta)$$\frac{\pi(\theta_1)}{\pi(\theta_2)}$

Vale la pena notare che questa quantità ha anche proprietà teoriche desiderabili, Degroot & Schervish :$\pi(\theta \mid X)$

I priori impropri non sono vere distribuzioni di probabilità, ma se pretendiamo che lo siano, calcoleremo le distribuzioni posteriori che si avvicinano ai posteriori che avremmo ottenuto usando priori coniugati adeguati con valori estremi dei precedenti iperparametri.

C'è una risposta "teorica" ​​e una "pragmatica".

Da un punto di vista teorico, quando un priore è improprio, il posteriore non esiste (beh, guarda la risposta di Matthew per un'affermazione più solida), ma può essere approssimato da una forma limitante.

Se i dati comprendono un campione iid condizionatamente dalla distribuzione di Bernoulli con parametro e ha la distribuzione beta con parametri e , la distribuzione posteriore di è la distribuzione beta con parametri ( osservazioni, successi ) e la sua media è . Se utilizziamo la distribuzione beta impropria (e irreale) prima di precedenti ipeparametri , e facciamo finta cheθ α β θ α + s , β + n - s n s ( α + s ) / ( α + β + n ) α = β = 0 π ( θ $\theta$$\theta$$\alpha$$\beta$$\theta$$\alpha + s, \beta+n-s$$n$$s$$(\alpha+s)/(\alpha+\beta+n)$$\alpha=\beta=0$ θ s - 1 ( 1 - θ ) n - $\pi(\theta)\propto\theta^{-1}(1-\theta)^{-1}$, otteniamo una corretta proporzione posteriore a , ovvero il pdf della distribuzione beta con parametri e eccezione di un fattore costante. Questa è la forma limitante del posteriore per un beta precedente con i parametri e (Degroot & Schervish, Esempio 7.3.13). sn-sα→0β→$\theta^{s-1}(1-\theta)^{n-s-1}$$s$$n-s$$\alpha\to 0$$\beta\to 0$

In un modello normale con media , varianza nota e una distribuzione precedente di per , se la precisione precedente, , è piccolo rispetto alla precisione dei dati, , quindi la distribuzione posteriore è approssimativamente come se : ovvero la distribuzione posteriore è approssimativamente quella che deriverebbe dall'ipotesi che sia proporzionale a una costante perσ $\theta$$\sigma^2$θ1/τ 2 0 n/σ2τ 2 0 =∞p(θ∣x)≈N(θ∣ ˉ x ,σ2/n$\mathcal{N}(\mu_0,\tau^2_0)$$\theta$$1/\tau^2_0$$n/\sigma^2$$\tau^2_0=\infty$

Da un punto di vista "pragmatico", quando qualunque sia , quindi se in , quindi . I priori impropri possono essere impiegati per rappresentare il comportamento locale della distribuzione precedente nella regione in cui la probabilità è apprezzabile, diciamo . Supponendo che con sufficiente approssimazione un precedente segua forme come o solo oltre$p(x\mid\theta)p(\theta)=0$$p(x\mid\theta)=0$$p(\theta)$$p(x\mid\theta)\ne 0$$(a,b)$$\int_{-\infty}^{\infty}p(x\mid\theta)p(\theta)d\theta=\int_a^b p(x\mid\theta)p(\theta)d\theta$$(a,b)$f ( x ) = k x - 1 , x ∈ ( 0 , ∞ p ( x ∣ θ ) p ( θ ) = p ( x ∣ θ ) k ∝ p ( x ∣ θ $f(x)=k, x\in(-\infty,\infty)$$f(x)=kx^{-1}, x\in(0,\infty)$$(a,b)$, che si adatta opportunamente a zero al di fuori di tale intervallo, assicuriamo che i priori effettivamente utilizzati siano corretti ( Box e Tiao , p. 21). Quindi, se la distribuzione precedente di è ma è limitata, è come se , cioè . Per un esempio concreto, questo è ciò che accade a Stan : se non viene specificato alcun precedente per un parametro, viene implicitamente dato un precedente uniforme sul suo supporto e questo viene gestito come una moltiplicazione della probabilità per una costante.$\theta$$\mathcal{U}(-\infty,\infty)$θ $(a,b)$$\theta\sim\mathcal{U}(a,b)$$p(x\mid\theta)p(\theta)=p(x\mid\theta)k\propto p(x\mid\theta)$

Tuttavia, nel caso di un precedente improprio, come fai a sapere che esiste effettivamente la distribuzione posteriore?

Anche il posteriore potrebbe non essere corretto. Se il priore è improprio e la probabilità è piatta (perché non ci sono osservazioni significative), allora il posteriore è uguale al precedente ed è anche improprio.

Di solito hai alcune osservazioni, e di solito la probabilità non è piatta, quindi il posteriore è corretto.