I condizionali completi possono determinare la distribuzione articolare?

Ho sentito che tutti i condizionali completi (usati nel campionamento di Gibbs) possono determinare la distribuzione congiunta. Ma non capisco perché e come. O ho sentito male? Grazie!

distributions

— Tim
fonte

Questa domanda apparentemente semplice è più profonda di quanto sembri, portandoci fino al teorema di Hammersley-Clifford. Il fatto che possiamo recuperare la distribuzione congiunta dai condizionali completi è ciò che rende possibile il campionatore Gibbs. Può essere visto come un risultato sorprendente, se ricordiamo che i marginali non determinano la distribuzione congiunta.

Vediamo cosa succede se calcoliamo formalmente con le definizioni ben note delle densità articolari, condizionali e marginali. Da

f_{X, Y} (X, y) = f_{X | Y} (X | y) f_{Y} (y) = f_{Y | X} (y | X) f_{X} (X),

$f_{X,Y}(x,y)=f_{X\mid Y}(x\mid y)\,f_Y(y)=f_{Y\mid X}(y\mid x)\,f_X(x) \, ,$ noi abbiamo

\int \frac{f_{Y | X} (y | X)}{f_{X | Y} (X | y)} d y = \int \frac{f_{Y} (y)}{f_{X} (X)} d y = \frac{1}{f_{X} (X)},

$\int \frac{f_{Y\mid X}(y\mid x)}{f_{X\mid Y}(x\mid y)}dy = \int \frac{f_Y(y)}{f_X(x)}dy = \frac{1}{f_X(x)} \, ,$ e possiamo recuperare formalmente la densità articolare dalla creazione di tutti i condizionali

f_{X, Y} (X, y) = \frac{f_{Y | X} (y | X)}{\int f_{Y | X} (y | X) / f_{X | Y} (X | y) d y} . (*)

$f_{X,Y}(x,y) = \frac{f_{Y\mid X}(y\mid x)}{\int f_{Y\mid X}(y\mid x)/f_{X\mid Y}(x\mid y)\,dy} \, . \qquad (*)$

Il problema con questo calcolo formale è che suppone l'esistenza di tutti gli oggetti coinvolti.

Ad esempio, considera cosa succede se ci viene dato

X | Y = y ~ Exp (y) e Y | X = X ~ Exp (X) .

$X\mid Y=y\sim\text{Exp}(y) \qquad \text{and} \qquad Y\mid X=x\sim\text{Exp}(x) \, .$ Ne consegue che

f_{Y ∣ X} (y ∣ x) / f_{X ∣ Y} (x ∣ y) = x / y

$f_{Y\mid X}(y\mid x)/f_{X\mid Y}(x\mid y) = x /y$ e l'integrale nel denominatore di

(*)

$(*)$ diverge.

Per garantire che possiamo recuperare la densità articolare dai condizionali completi utilizzando $(*)$ abbiamo bisogno delle condizioni di compatibilità discusse in questo documento:

"Distribuzioni condizionate compatibili", Barry C. Arnold e S. James Press, Journal of American Statistical Association, Vol. 84, n. 405 (1989), pagg. 152-156.

Infine, leggi la discussione sul teorema di Hammersley-Clifford nel libro di Robert e Casella

— zen
fonte

Potresti chiarire cosa si intende per "l'integrale .... esiste"? Sembra che ci siano due diversi problemi qui, vale a dire. (i) fa l'integrale

\int \frac{f_{Y | X} (y | X)}{f_{X | Y} (X | y)} d y

$\int \frac{f_{Y\mid X}(y\mid x)}{f_{X\mid Y}(x\mid y)}dy$ esiste o no? e (ii) se l'integrale esiste, è il suo valore

\frac{1}{f_{X} (x)}

$\frac{1}{f_X(x)}$ ? O lo dici ogni volta

X

$X$ e

Y

$Y$ hanno densità condizionali tali che

\int \frac{f_{Y | X} (y | X)}{f_{X | Y} (X | y)} d y

$\int \frac{f_{Y\mid X}(y\mid x)}{f_{X\mid Y}(x\mid y)}dy$ esiste, quindi deve essere che il valore dell'integrale sia

\frac{1}{f_{X} (x)}

$\frac{1}{f_X(x)}$ ?

— Dilip Sarwate

Grazie @Zen!

f_{Y}

$f_Y$ e

f_{X | Y}

$f_{X|Y}$ può determinare

f_{X, Y}

$f_{X,Y}$ , e

f_{Y | X}

$f_{Y|X}$ e

f_{X | Y}

$f_{X|Y}$ può anche determinare

f_{X, Y}

$f_{X,Y}$ . (1) Quale fornisce ulteriori informazioni,

f_{Y}

$f_Y$ o

f_{Y | X}

$f_{Y|X}$ ? (2) Quale fornisce meno informazioni ridondanti / sovrapposte

f_{X | Y}

$f_{X|Y}$ ,

f_{Y}

$f_Y$ o

f_{Y | X}

$f_{Y|X}$ ? (3) Fuori

f_{Y}

$f_Y$ e

f_{Y | X}

$f_{Y|X}$ , uno di loro fornisce già le informazioni dell'altro (di cui dubito, perché ciò implicherebbe che l'uno conduca all'altro)? Immagino sia l'intersezione tra le informazioni di

f_{Y}

$f_Y$ e di

f_{Y | X}

$f_{Y|X}$ , che insieme a

f_{X | Y}

$f_{X|Y}$ determina

f_{X, Y}

$f_{X,Y}$ .

— Tim

Ciao @Tim.

f_{Y}

$f_Y$ ti rappresenta incertezza

Y

$Y$ , mentre

f_{Y ∣ X}

$f_{Y\mid X}$ rappresenta la tua incertezza

Y

$Y$ , dato che conosci il valore di

X

$X$ . "Quale contiene più informazioni?" non è una domanda facile. Se

f_{X ∣ Y}

$f_{X\mid Y}$ e

f_{Y ∣ X}

$f_{Y\mid X}$ sono compatibili (nel senso di Arnold e Press), quindi determinano

f_{X, Y}

$f_{X,Y}$ attraverso

(*)

$(*)$ .

— Zen

Attualmente sto lottando con lo stesso problema. Sono un po 'confuso dalla necessità di distribuzioni condizionate compatibili, poiché queste non sono mai menzionate in nessuna (almeno quelle che ho letto) introduzioni al Gibbs Sampling. O vale la necessità di distribuzioni condizionali compatibili solo se si cerca di recuperare formalmente le distribuzioni congiunte, ad esempio da (*). -> non si avvicina alla distribuzione congiunta di Gibbs Sampling?

— sklingel,

In una normale impostazione di campionamento di Gibbs applicata a un problema statistico, si presume che esista la distribuzione della probabilità articolare (posteriore), quindi che i condizionali completi derivati da questa distribuzione articolare sono compatibili. Al di fuori di questo caso, il campionamento di Gibbs non ha senso.

— Xi'an,