Probabilità rispetto alla distribuzione condizionale per l'analisi bayesiana

Possiamo scrivere il teorema di Bayes come

p (θ | x) = \frac{f (X | θ) p (θ)}{\int_{θ} f (X | θ) p (θ) d θ}

$p(\theta|x) = \frac{f(X|\theta)p(\theta)}{\int_{\theta} f(X|\theta)p(\theta)d\theta}$

dove è il posteriore, è la distribuzione condizionale e è il precedente. $p(\theta|x)$ $f(X|\theta)$ $p(\theta)$

p (θ | x) = \frac{L (θ | x) p (θ)}{\int_{θ} L (θ | x) p (θ) d θ}

$p(\theta|x) = \frac{L(\theta|x)p(\theta)}{\int_{\theta} L(\theta|x)p(\theta)d\theta}$

dove è il posteriore, è la funzione di probabilità e è il precedente. $p(\theta|x)$ $L(\theta|x)$ $p(\theta)$

La mia domanda è

Perché l'analisi bayesiana viene eseguita utilizzando la funzione di probabilità e non la distribuzione condizionale?
Puoi dire a parole qual è la differenza tra la probabilità e la distribuzione condizionata? So che la probabilità non è una distribuzione di probabilità e . $L(\theta|x) \propto f(X|\theta)$

bayesian likelihood

— Kzoo
fonte

Non c'è differenza! La probabilità è che la distribuzione condizionale , beh, sia proporzionale a, il che è tutto ciò che conta.

f (X | θ)

$f(X | \theta)$

— kjetil b halvorsen,

Il parametro precedente ha densità . se la realizzazione di ha valore mentre è il valore osservato di una variabile casuale , il valore della funzione di probabilità è precisamente , il valore della densità condizionata di . La differenza è che per tutte le realizzazioni di . Tuttavia, in funzione di

Θ

$\Theta$

p_{Θ} (θ)

$p_\Theta(\theta)$

Θ

$\Theta$

θ

$\theta$

x

$x$

X

$X$

L (θ ∣ x)

$L(\theta\mid x)$

f (x ∣ θ)

$f(x\mid \theta)$

f_{X ∣ Θ} (x ∣ Θ = θ)

$f_{X\mid\Theta}(x\mid\Theta=\theta)$

X

$X$

\int_{- \infty}^{\infty} f_{X ∣ Θ} (x ∣ Θ = θ) d x = 1

$\int_{-\infty}^{\infty}f_{X\mid\Theta}(x\mid\Theta=\theta)dx=1$

Θ

$\Theta$

θ

$\theta$ (e fisso ), non è una densità:

x

$x$

L (θ ∣ x)

$L(\theta\mid x)$

\int L (θ ∣ x) d θ \neq 1

$\int L(\theta\mid x)d\theta\neq 1$

— Dilip Sarwate,

Risposte:

Supponiamo di avere variabili casuali (i cui valori saranno osservati nell'esperimento) che sono condizionatamente indipendenti, dato che , con densità condizionali , per . Questo è il tuo modello (postulato) statistico (condizionale) e le densità condizionali esprimono, per ogni possibile valore del parametro (casuale) , la tua incertezza sui valori di , prima di avere accesso a qualsiasi dati reali. Con l'aiuto delle densità condizionali è possibile, ad esempio, calcolare probabilità condizionali come $X_1,\dots,X_n$ $\Theta=\theta$ $f_{X_i\mid\Theta}(\,\cdot\mid\theta)$ $i=1,\dots,n$ $\theta$ $\Theta$ $X_i$

P {X_{1} \in B_{1}, \dots, X_{n} \in B_{n} ∣ Θ = θ} = \int_{B_{1} \times \dots \times B_{n}} \prod_{i = 1}^{n} f_{X_{i} ∣ Θ} (x_{i} ∣ θ) d x_{1} \dots d x_{n},

$P\{X_1\in B_1,\dots,X_n\in B_n\mid \Theta=\theta\} = \int_{B_1\times\dots\times B_n} \prod_{i=1}^n f_{X_i\mid\Theta}(x_i\mid\theta)\,dx_1\dots dx_n \, ,$ per ogni .

θ

$\theta$

Dopo aver accesso a un campione effettivo di valori (realizzazioni) degli che sono stati osservati in una serie dell'esperimento, la situazione cambia: non vi è più incertezza sugli osservabili . Supponiamo che il casuale assume valori in alcuni spazi dei parametri . Ora, per quei valori noti (fissi) definiti si definisce una funzione di Si noti che , nota come "funzione di verosimiglianza" è una funzione di $(x_1,\dots,x_n)$ $X_i$ $X_1,\dots,X_n$ $\Theta$ $\Pi$ $(x_1,\dots,x_n)$

L_{x_{1}, \dots, x_{n}} : Π \to R

$L_{x_1,\dots,x_n} : \Pi \to \mathbb{R} \,$

L_{x_{1}, \dots, x_{n}} (θ) = \prod_{i = 1}^{n} f_{X_{i} ∣ Θ} (x_{i} ∣ θ) .

$L_{x_1,\dots,x_n}(\theta)=\prod_{i=1}^n f_{X_i\mid\Theta}(x_i\mid\theta) \, .$

L_{x_{1}, \dots, x_{n}}

$L_{x_1,\dots,x_n}$

θ

$\theta$ . In questa situazione "dopo aver dati", la probabilità contiene, per il particolare modello condizionale che stiamo prendendo in considerazione, tutte le informazioni sul parametro contenute in questo particolare esempio . In effetti, accade che sia una statistica sufficiente per .

L_{x_{1}, \dots, x_{n}}

$L_{x_1,\dots,x_n}$

Θ

$\Theta$

(x_{1}, \dots, x_{n})

$(x_1,\dots,x_n)$

L_{x_{1}, \dots, x_{n}}

$L_{x_1,\dots,x_n}$

Θ

$\Theta$

Rispondendo alla tua domanda, per capire le differenze tra i concetti di densità condizionale e probabilità, tieni a mente le loro definizioni matematiche (che sono chiaramente diverse: sono diversi oggetti matematici, con proprietà diverse) e ricorda anche che la densità condizionale è un "pre -sample "oggetto / concetto, mentre la probabilità è" after-sample ". Spero che tutto ciò ti aiuti anche a rispondere al motivo per cui l'inferenza bayesiana (usando il tuo modo di dirla, che non credo sia l'ideale) viene fatta "usando la funzione di verosimiglianza e non la distribuzione condizionale": l'obiettivo dell'inferenza bayesiana è per calcolare la distribuzione posteriore e per farlo condizioniamo i dati osservati (noti).

— zen
fonte

Penso che lo Zen abbia ragione quando afferma che la probabilità e la probabilità condizionata sono diverse. Nella funzione di verosimiglianza θ non è una variabile casuale, quindi è diversa dalla probabilità condizionale.

— Martine,

La proporzionalità viene utilizzata per semplificare l'analisi

L'analisi bayesiana viene generalmente effettuata tramite una dichiarazione ancora più semplice del teorema di Bayes, in cui lavoriamo solo in termini di proporzionalità rispetto al parametro di interesse. Per un modello IID standard con densità di campionamento possiamo esprimerlo come: $f(X|\theta)$

p (θ | x) \propto L_{x} (θ) \cdot p (θ) L_{x} (θ) \propto \prod_{i = 1}^{n} f (x_{i} | θ) .

$p(\theta|\mathbf{x}) \propto L_\mathbf{x}(\theta) \cdot p(\theta) \quad \quad \quad \quad L_\mathbf{x}(\theta) \propto \prod_{i=1}^n f(x_i|\theta).$

Questa affermazione di aggiornamento bayesiano funziona in termini di proporzionalità rispetto al parametro . Utilizza due semplificazioni della proporzionalità: una nell'uso della funzione di verosimiglianza (proporzionale alla densità di campionamento) e una nella parte posteriore (proporzionale al prodotto di verosimiglianza e precedente). Poiché il posteriore è una funzione di densità (nel caso continuo), la regola di normazione imposta quindi la costante moltiplicativa necessaria per produrre una densità valida (cioè per integrarla in una). $\theta$

Questo metodo di utilizzo della proporzionalità ha il vantaggio di permetterci di ignorare qualsiasi elemento moltiplicativo delle funzioni che non dipende dal parametro . Questo tende a semplificare il problema permettendoci di spazzare via parti inutili della matematica e ottenere dichiarazioni più semplici del meccanismo di aggiornamento. Questo non è un requisito matematico (dal momento che la regola di Bayes funziona anche nella sua forma non proporzionale), ma semplifica le cose per i nostri cervelli di piccoli animali. $\theta$

Un esempio applicato: considera un modello IID con i dati osservati . Per facilitare la nostra analisi definiamo le statistiche e , che sono i primi due momenti di esempio. Per questo modello abbiamo densità di campionamento: $X_1, ..., X_n \sim \text{IID N}(\theta, 1)$ $\bar{x} = \tfrac{1}{n} \sum_{i=1}^n x_i$ $\bar{\bar{x}} = \tfrac{1}{n} \sum_{i=1}^n x_i^2$

\begin{aligned} f (x | θ) = \prod_{i = 1}^{n} f (x_{i} | θ) & = \prod_{i = 1}^{n} N (x_{i} | θ, 1) \\ = \prod_{i = 1}^{n} \frac{1}{\sqrt{2 π}} \exp (- \frac{1}{2} (x_{i} - θ)^{2}) \\ = (2 π)^{n / 2} \exp (- \frac{1}{2} \sum_{i = 1}^{n} (x_{i} - θ)^{2}) . \\ = (2 π)^{n / 2} \exp (- \frac{n}{2} (θ^{2} - 2 \bar{x} θ + \bar{\bar{x}})) \\ = (2 π)^{n / 2} \exp (- \frac{n \bar{\bar{x}}}{2}) \cdot \exp (- \frac{n}{2} (θ^{2} - 2 \bar{x} θ)) \end{aligned}

$\begin{equation} \begin{aligned} f(\mathbf{x}|\theta) = \prod_{i=1}^n f(x_i|\theta) &= \prod_{i=1}^n \text{N}(x_i|\theta,1) \\[6pt] &= \prod_{i=1}^n \frac{1}{\sqrt{2 \pi}} \exp \Big( -\frac{1}{2} (x_i-\theta)^2 \Big) \\[6pt] &= (2 \pi)^{n/2} \exp \Big( -\frac{1}{2} \sum_{i=1}^n (x_i-\theta)^2 \Big). \\[6pt] &= (2 \pi)^{n/2} \exp \Big( -\frac{n}{2} ( \theta^2 - 2\bar{x} \theta + \bar{\bar{x}} ) \Big) \\[6pt] &= (2 \pi)^{n/2} \exp \Big( -\frac{n \bar{\bar{x}}}{2} \Big) \cdot \exp \Big( -\frac{n}{2} ( \theta^2 - 2\bar{x} \theta ) \Big) \\[6pt] \end{aligned} \end{equation}$

Ora, possiamo lavorare direttamente con questa densità di campionamento, se vogliamo. Ma nota che i primi due termini in questa densità sono costanti moltiplicative che non dipendono da . È fastidioso tenere traccia di questi termini, quindi eliminiamoli, quindi abbiamo la funzione di probabilità: $\theta$

L_{x} (θ) = \exp (- \frac{n}{2} (θ^{2} - 2 \bar{x} θ)) .

$L_\mathbf{x}(\theta) = \exp \Big( -\frac{n}{2} ( \theta^2 - 2\bar{x} \theta ) \Big).$

Questo semplifica un po 'le cose, dal momento che non dobbiamo tenere traccia di un termine aggiuntivo. Ora, potremmo applicare la regola di Bayes usando la sua versione completa dell'equazione, incluso il denominatore integrale. Ma ancora una volta, questo ci richiede di tenere traccia di un'altra fastidiosa costante moltiplicativa che non dipende da (più fastidiosa perché dobbiamo risolvere un integrale per ottenerlo). Quindi applichiamo la regola di Bayes nella sua forma proporzionale. Usando il coniugato precedente , con alcuni parametri di precisione noti , otteniamo il seguente risultato ( completando il quadrato ): $\theta$ $\theta \sim \text{N}(0,\lambda_0)$ $\lambda_0>0$

\begin{aligned} p (θ | x) & \propto L_{x} (θ) \cdot p (θ) \\ = \exp (- \frac{n}{2} (θ^{2} - 2 \bar{x} θ)) \cdot N (θ | 0, λ_{0}) \\ \propto \exp (- \frac{n}{2} (θ^{2} - 2 \bar{x} θ)) \cdot \exp (- \frac{λ_{0}}{2} θ^{2}) \\ = \exp (- \frac{1}{2} (n θ^{2} - 2 n \bar{x} θ + λ_{0} θ^{2})) \\ = \exp (- \frac{1}{2} ((n + λ_{0}) θ^{2} - 2 n \bar{x} θ)) \\ = \exp (- \frac{n + λ_{0}}{2} (θ^{2} - 2 \frac{n \bar{x}}{n + λ_{0}} θ)) \\ \propto \exp (- \frac{n + λ_{0}}{2} (θ - \frac{n}{n + λ_{0}} \cdot \bar{x})^{2}) \\ \propto N (θ | \frac{n}{n + λ_{0}} \cdot \bar{x}, n + λ_{0}) . \end{aligned}

$\begin{equation} \begin{aligned} p(\theta|\mathbf{x}) &\propto L_\mathbf{x}(\theta) \cdot p(\theta) \\[10pt] &= \exp \Big( -\frac{n}{2} ( \theta^2 - 2\bar{x} \theta ) \Big) \cdot \text{N}(\theta|0,\lambda_0) \\[6pt] &\propto \exp \Big( -\frac{n}{2} ( \theta^2 - 2\bar{x} \theta ) \Big) \cdot \exp \Big( -\frac{\lambda_0}{2} \theta^2 \Big) \\[6pt] &= \exp \Big( -\frac{1}{2} ( n\theta^2 - 2n\bar{x} \theta + \lambda_0 \theta^2 ) \Big) \\[6pt] &= \exp \Big( -\frac{1}{2} ( (n+\lambda_0) \theta^2 - 2n\bar{x} \theta ) \Big) \\[6pt] &= \exp \Big( -\frac{n+\lambda_0}{2} \Big( \theta^2 - 2 \frac{n\bar{x}}{n+\lambda_0} \theta \Big) \Big) \\[6pt] &\propto \exp \Big( -\frac{n+\lambda_0}{2} \Big( \theta - \frac{n}{n+\lambda_0} \cdot \bar{x} \Big)^2 \Big) \\[6pt] &\propto \text{N}\Big( \theta \Big| \frac{n}{n+\lambda_0} \cdot \bar{x}, n+\lambda_0 \Big). \\[6pt] \end{aligned} \end{equation}$

Quindi, da questo lavoro possiamo vedere che la distribuzione posteriore è proporzionale a una densità normale. Poiché il posteriore deve essere una densità, ciò implica che il posteriore è quella densità normale:

p (θ | x) = N (θ | \frac{n}{n + λ_{0}} \cdot \bar{x}, n + λ_{0}) .

$p(\theta|\mathbf{x}) = \text{N}\Big( \theta \Big| \frac{n}{n+\lambda_0} \cdot \bar{x}, n+\lambda_0 \Big).$

Quindi, vediamo che a posteriori il parametro è normalmente distribuito con media posteriore e varianza data da: $\theta$

E (θ | x) = \frac{n}{n + λ_{0}} \cdot \bar{x} V (θ | x) = \frac{1}{n + λ_{0}} .

$\mathbb{E}(\theta|\mathbf{x}) = \frac{n}{n+\lambda_0} \cdot \bar{x} \quad \quad \quad \quad \mathbb{V}(\theta|\mathbf{x}) = \frac{1}{n+\lambda_0}.$

Ora, la distribuzione posteriore che abbiamo derivato ha una costante di integrazione davanti ad essa (che possiamo trovare facilmente osservando la forma della distribuzione normale ). Ma nota che non dovevamo preoccuparci di questa costante moltiplicativa - tutte le nostre attività rimuovevano (o portavano) costanti moltiplicative ogni volta che questo semplificava la matematica. Lo stesso risultato può essere derivato mentre si tiene traccia delle costanti moltiplicative, ma questo è molto più disordinato.

— Ben - Ripristina Monica
fonte

Penso che la risposta di Zen ti dica davvero quanto differiscono concettualmente la probabilità e la densità congiunta dei valori delle variabili casuali. Ancora matematicamente in funzione sia della x s e θ sono gli stessi e in questo senso la probabilità può essere visto come una densità di probabilità. La differenza che indichi nella formula per la distribuzione posteriore di Bayes è solo una differenza notazionale. Ma la sottigliezza della differenza è ben spiegata nella risposta dello Zen. $_i$

Questo problema è emerso in altre domande discusse su questo sito per quanto riguarda la funzione di probabilità. Anche altri commenti di Kjetil e Dilip sembrano supportare ciò che sto dicendo.

— Michael R. Chernick
fonte