Perché non usare il teorema di Bayes nella forma

Ci sono molte domande (come questa ) su alcune ambiguità con la formula bayesiana in caso continuo.

p (θ | x) = \frac{p (x | θ) \cdot p (θ)}{p (x)}

$p(\theta | x) = \frac{p(x | \theta) \cdot p(\theta)}{p(x)}$

Spesso, la confusione deriva dal fatto che la definizione della distribuzione condizionale è spiegata come essendo funzione del fisso dato . $f(variable | parameter)$ $f$ $variable$ $parameter$

Accanto a questo, esiste un principio di equivalenza che afferma che la probabilità può essere scritta come:

L (θ | x) = p (x | θ)

$L(\theta | x) = p(x | \theta)$

Quindi perché non usare la regola di Bayes per le distribuzioni nella seguente forma:

p (θ | x) = \frac{L (θ | x) \cdot p (θ)}{p (x)}

$p(\theta | x) = \frac{L(\theta | x) \cdot p(\theta)}{p(x)}$

sottolineare che abbiamo a che fare con le funzioni di dati dati osservati , e che il rispettivo termine è verosimiglianza (almeno, a partire da )? $\theta$ $x$ $L$

È una questione di tradizione o c'è qualcosa di più fondamentale in questa pratica?

— IoT
fonte

Qual è il significato di ? Conosco questo come una probabilità. Ma nel caso continuo, non vedo di quale probabilità stai parlando.

p (\cdot)

$p(\cdot)$

— Sesto Empirico

@MartijnWeterings, le funzioni dovrebbero essere distribuzioni di probabilità valide in tutti i casi tranne quando è "verosimiglianza" del modulo . Mi sto perdendo qualcosa?

p (\cdot)

$p(\cdot)$

p (x | θ)

$p(x|\theta)$

— Iot

Cosa intendi per distribuzione di probabilità? Cumulativo, densità, ecc.?

— Sesto Empirico

Potrebbe aiutare a fare un passo indietro e rendersi conto che non ci sono "variabili" nel teorema di Bayes, almeno mentre usi il termine. Esistono punti dati e parametri del modello. In questo senso,

P (m o d e l | d a t a) P (d a t a) = P (d a t a, m o d e l) = P (d a t a | m o d e l) P (m o d e l)

$P(model|data)P(data) = P(data,model)=P(data|model)P(model)$ . Invii una creatura simile a quella posteriore

P (m o d e l | d a t a)

$P(model|data)$ che poi chiami la probabilità. Ma non lo è. Quindi non sono sicuro di dove stai andando con questo. E in generale

p (x | y) = p (y | x) ⟹ p (x) = p (y)

$p(x|y) = p(y|x) \implies p(x)=p(y)$ che è insensato nel caso in cui

x = d a t a

$x=data$ e

y = m o d e l .

$y=model.$

x

$x$ e

y

$y$ non hanno nemmeno lo stesso supporto.

— Peter Leopold,

Controlla stats.stackexchange.com/a/224299/35989

— Tim

Risposte:

Ci sono due risultati di base dalla probabilità che sono all'opera nel teorema di Bayes. Uno è un modo per riscrivere una funzione di densità di probabilità congiunta :

p (X, y) = p (X | y) p (y) .

$p(x,\,y)=p(x\,|\,y)p(y).$

L'altra è una formula per calcolare una funzione di densità di probabilità condizionale :

p (y | X) = \frac{p (X, y)}{p (X)} .

$p(y\,|\,x)=\frac{p(x,\,y)}{p(x)}.$

Il teorema di Bayes mette insieme queste due cose:

p (θ | X) = \frac{p (X, θ)}{p (X)} = \frac{p (X | θ) p (θ)}{p (X)}

$p(\theta\,|\,x)=\frac{p(x,\,\theta)}{p(x)}=\frac{p(x\,|\,\theta)p(\theta)}{p(x)}$

Quindi entrambi i dati $x$ e i parametri $\theta$ sono variabili casuali con pdf congiunto

p (X, θ) = p (X | θ) p (θ),

$p(x,\,\theta)=p(x\,|\,\theta)p(\theta),$ ed è quello che appare nel numeratore nel teorema di Bayes. Quindi scrivendo la probabilità come densità di probabilità condizionale anziché come funzione

L

$L$ dei parametri chiarisce la probabilità di base in gioco.

Detto questo, vedrai la gente usare entrambi, come qui o qui .

— JCZ
fonte

@iot Nelle statistiche classiche, potresti stimare i parametri trovando il

θ

$\theta$ che massimizza

p (x | θ)

$p(x\,|\,\theta)$ come una funzione di

θ

$\theta$ . Quindi la gente scriverà

L (θ) = p (x | θ)

$L(\theta)=p(x\,|\,\theta)$ e prova a calcolare

{\hat{θ}}_{M L E} = \arg max L (θ)

$\hat{\theta}_{MLE}={\arg\max}\,L(\theta)$ . In questo caso, non ti interessa lo "stato" di come pdf condizionale su . Ti preoccupi del suo stato come una funzione di a valore reale che vuoi massimizzare rispetto a . Quindi la notazione in stile è un holdover da quell'impostazione.

p (x | θ)

$p(x\,|\,\theta)$

x

$x$

θ

$\theta$

θ

$\theta$

L (\cdot)

$L(\cdot)$

— jcz,

La funzione di verosimiglianza è semplicemente proporzionale alla densità di campionamento, nel senso che hai per una costante (sebbene dovresti notare che la probabilità è una funzione del parametro, non dei dati). Se vuoi usarlo nella tua espressione per il teorema di Bayes, allora devi includere la stessa costante di ridimensionamento nel denominatore: $L_x(\theta) = k(x) \cdot p(x|\theta)$ $k(x) > 0$

p (θ | X) = \frac{L_{X} (θ) \cdot p (θ)}{K (X) \cdot p (X)} = \frac{L_{X} (θ) \cdot p (θ)}{\int L_{X} (θ) \cdot p (θ) d θ} α L_{X} (θ) \cdot p (θ) .

$p(\theta|x) = \frac{L_x(\theta) \cdot p(\theta)}{k(x) \cdot p(x)} = \frac{L_x(\theta) \cdot p(\theta)}{\int L_x(\theta) \cdot p(\theta) \ d \theta} \propto L_x(\theta) \cdot p(\theta).$

Se invece usi la formula che hai proposto, finirai con un kernel della densità posteriore, ma potrebbe non integrarsi con uno (e quindi generalmente non è una densità).

— Ben - Ripristina Monica
fonte

Mi piace la tua risposta, ma nella formula originale

p (x | θ)

$p(x|\theta)$ con

x

$x$ essere riparato (contesto bayesiano) non ha anche una distribuzione di probabilità valida , e

p (x)

$p(x)$ inoltre è un fattore di ridimensionamento non uguale a 1. Quindi, perché pensi che

k

$k$ l'unità non è nella tua spiegazione?

— garej

Abbastanza spesso formuliamo la funzione di probabilità rimuovendo le parti moltiplicative che non dipendono dal parametro di interesse. Lo facciamo al fine di semplificare l'analisi, evitando la necessità di tenere traccia di una costante integrazione. Ad esempio, se

p (x | θ) = Bin (x | n, θ)

$p(x|\theta) = \text{Bin}(x|n,\theta)$ allora prenderemmo

L_{x} (θ) = θ^{x} (1 - θ)^{n - x}

$L_x(\theta) = \theta^x (1-\theta)^{n-x}$ , rimuovendo il coefficiente binomiale nella distribuzione binomiale. In questo caso abbiamo , che generalmente non è uguale a uno.

k = (\binom{n}{x})

$k = {n \choose x}$

— Ben - Ripristina Monica il

quindi il punto è che esiste una convenzione secondo cui la probabilità è di solito libera da costanti inutili e quindi la versione di Iot potrebbe essere in qualche modo fuorviante per gli statistici?

— garej,

Sebbene questo sia effettivamente un modo convenzionale per impostare la probabilità, il punto qui è che la funzione di probabilità è generalmente definita solo fino alla proporzionalità, quindi non vi è alcuna garanzia che nel funzionamento sopra.

k = 1

$k=1$

— Ben - Ripristina Monica il

È la prima volta che leggo che la probabilità è proporzionale a una densità. Per me, questo è solo un tratto e forse sbagliato. Il problema risiede nella terminologia sovrapposta. Non dovremmo chiamare una densità una probabilità, nella regola di Bayes, ma continuiamo a farlo.

— nbro,