In che modo la sufficienza bayesiana è correlata alla sufficienza frequentista?

9

La definizione più semplice di statistiche sufficienti nella prospettiva frequentista è data qui in Wikipedia . Tuttavia, di recente mi sono imbattuto in un libro bayesiano, con la definizione . Nel link è indicato che entrambi sono equivalenti, ma non vedo come. Inoltre, nella stessa pagina, nella sezione «Altri tipi di sufficienza» si afferma che entrambe le definizioni non sono equivalenti in spazi a dimensione infinita ... $P(\theta|x,t)=P(\theta|t)$

Inoltre, in che modo la sufficienza predittiva si collega alla sufficienza classica?

bayesian mathematical-statistics sufficient-statistics

— Un vecchio nel mare.
fonte

4

Se una statistica è sufficiente nel modo frequentista, allora , quindi $T$ $p(\mathbf{x} \mid \theta, t) = p(\mathbf{x} \mid t)$

\begin{aligned} p (θ ∣ x, t) & = \frac{p (x ∣ t, θ) p (t ∣ θ) p (θ)}{p (x ∣ t) p (t)} \\ (freq. suff.) & = \frac{p (t ∣ θ) p (θ)}{p (t)} \\ = p (θ ∣ t) . \end{aligned}

$\begin{align*} p(\theta \mid \mathbf{x}, t) &= \frac{p(\mathbf{x}\mid t,\theta)p(t \mid \theta) p(\theta)}{p(\mathbf{x}\mid t)p(t)} \\ &= \frac{p(t \mid \theta) p(\theta)}{p(t)} \tag{freq. suff.}\\ &= p(\theta \mid t). \end{align*}$

D'altra parte, se è sufficiente nel modo bayesiano, allora $T$

\begin{aligned} p (x ∣ θ, t) & = \frac{p (x, θ, t)}{p (θ, t)} \\ = \frac{p (θ ∣ x, t) p (x, t)}{p (θ ∣ t) p (t)} \\ (Bayesian suff.) & = \frac{p (x, t)}{p (t)} \\ = p (x ∣ t) . \end{aligned}

$\begin{align*} p(\mathbf{x} \mid \theta, t) &= \frac{p(\mathbf{x}, \theta,t)}{p(\theta,t)}\\ &= \frac{p(\theta \mid \mathbf{x},t) p(\mathbf{x},t)}{p(\theta\mid t)p(t)}\\ &= \frac{p(\mathbf{x},t)}{p(t)} \tag{Bayesian suff.}\\ &= p(\mathbf{x} \mid t). \end{align*}$

Riguardo alla "sufficienza predittiva", che cos'è?

Modifica: se si dispone della sufficienza bayesiana, si dispone della sufficienza predittiva:

\begin{aligned} p (x^{'} ∣ x) & = \int p (x^{'} ∣ θ) p (θ ∣ x) d θ \\ (Bayesian suff.) & = \int p (x^{'} ∣ θ) p (θ ∣ t) d θ \\ = p (x^{'} ∣ t) . \end{aligned}

$\begin{align*} p(\mathbf{x}' \mid \mathbf{x}) &= \int p(\mathbf{x}' \mid \theta)p(\theta \mid \mathbf{x}) d\theta\\ &= \int p(\mathbf{x}' \mid \theta) p(\theta \mid t)d\theta \tag{Bayesian suff.}\\ &= p(\mathbf{x}' \mid t). \end{align*}$

— Taylor
fonte

1

Taylor, è definito nello stesso link, proprio sotto nella sezione di Bayesian Sufficiency.

— Un vecchio nel mare.

3

Ci siamo imbattuti in un fenomeno interessante alcuni anni fa , quando studiavamo la scelta del modello bayesiano con la ABC. Il che penso sia correlato a questa domanda. Esiste davvero una nozione di sufficienza per la scelta del modello bayesiano che non sembra particolarmente significativa al di fuori dell'approccio bayesiano.

Dati due modelli e e un campione da uno di questi due modelli, una statistica è sufficiente per la scelta del modello o attraverso il modello se la distribuzione di condizionale su non dipende dall'indice del modello (1 o 2) o dal valore del parametro all'interno del modello.

M_{1} = {f_{θ} (\cdot); θ \in Θ}

$\mathfrak{M}_1=\{f_\theta(\cdot); \theta\in\Theta\}$

M_{2} = {g_{ξ} (\cdot); ξ \in Ξ}

$\mathfrak{M}_2=\{g_\xi(\cdot); \xi\in\Xi\}$

x = (x_{1}, \dots, x_{n})

$\mathbf{x}=(x_1,\ldots,x_n)$

S

$S$

X

$\mathbf{X}$

S (X)

$S(\mathbf{X})$

Quando esistono statistiche sufficienti, un fattore di Bayes basato su è lo stesso di un fattore di Bayes basato su . Mentre questa è una definizione che non è bayesiana in sé, non vedo alcuna applicazione diretta al di fuori della scelta del modello bayesiano. $\mathbf{X}$ $S(\mathbf{X})$

— Xi'an
fonte