Quando fare Markov campi aleatori

Nel loro libro di testo, Modelli grafici, Famiglie esponenziali e inferenza variabile , M. Jordan e M. Wainwright discutono della connessione tra famiglie esponenziali e Markov Random Fields (modelli grafici non indirizzati).

Sto cercando di capire meglio la relazione tra loro con le seguenti domande:

Tutti i MRF sono membri delle famiglie esponenziali?
Tutti i membri delle famiglie esponenziali possono essere rappresentati come MRF?
Se MRF famiglie esponenziali, che cosa sono alcuni esempi di buone di distribuzioni di un tipo non ncluded nell'altra ? $\neq$

Da quello che ho capito nel loro libro di testo (capitolo 3), Jordan e Wainwright presentano il prossimo argomento:

Supponiamo di avere una variabile casuale scalare X che segue una certa distribuzione e di disegnare osservazioni e che vogliamo identificare . $p$ $n$ $X^1, \ldots X^n$ $p$
Calcoliamo le aspettative empiriche di alcune funzioni $\phi_\alpha%$

per tutti $\hat{\mu}_\alpha= \frac{1}{n}\sum^n_{i=1}\phi_\alpha(X^i),$ $\alpha \in \mathcal{I}$

dove ogni in alcuni insiemi indicizza una funzione $\alpha$ $\mathcal{I}$ $\phi_\alpha: \mathcal{X} \rightarrow R$
Quindi se forziamo le seguenti due serie di quantità per essere coerenti, cioè per abbinare (per identificare ): $p$
- Le aspettative delle statistiche sufficienti della distribuzione $E_p[(\phi_\alpha(X)]=\int_\mathcal{X}\phi_\alpha(x)p(x)\nu(dx)$ $\phi$ $p$
- Le aspettative sotto la distribuzione empirica

abbiamo un problema indeterminato , nel senso che ci sono molte distribuzioni che sono coerenti con le osservazioni. Quindi abbiamo bisogno di un principio per scegliere tra loro (per identificare ). $p$ $p$

Se usiamo il principio della massima entropia per rimuovere questa indeterminatezza, possiamo ottenere una singola : $p$

soggetti a per tutti $\DeclareMathOperator*{\argmax}{arg\,max} p^* = \argmax_{p\in{\mathcal{P}}} \,H(p)$ $E_p[(\phi_\alpha(X)] = \hat{\mu}_\alpha$ $\alpha \in \mathcal{I}$

dove questo assume la forma exp dove rappresenta una parametrizzazione della distribuzione in forma di famiglia esponenziale. $p^*$ $p_\theta(x) \propto$ ${\sum_{\alpha \in \mathcal{I}}\theta_\alpha \phi_\alpha(x)},$ $\theta \in R^d$

In altre parole, se noi

Rendere le aspettative delle distribuzioni coerenti con le aspettative della distribuzione empirica
Usa il principio della massima entropia per eliminare l'indeterminazione

Finiamo con una distribuzione della famiglia esponenziale. $\rightarrow$

Tuttavia, questo sembra più un argomento per introdurre famiglie esponenziali e (per quanto posso capire) non descrive la relazione tra MRF e exp. famiglie. Mi sto perdendo qualcosa?

mathematical-statistics graphical-model

— Amelio Vazquez-Reina
fonte

Penso che ci sia un po 'di confusione lì: [MRFs] ( en.wikipedia.org/wiki/Markov_random_field ) non sono definiti secondo il principio della massima entropia, ma di per sé, dal fatto che la densità fattorizza in base alle cricche del grafico. Le MRF sono famiglie esponenziali, a causa della loro rappresentazione log-lineare.

— Xi'an,

Grazie @ Xi'an. Questa parte "I MRF sono definiti dal fatto che la densità si basa sulla cricca del grafico " è ciò che ho sempre pensato definisca un MRF. Ma perché questa proprietà rende tutti i MRF parte delle famiglie esponenziali? E quali sono esempi (se ce ne sono) di entrambi i tipi (MRF o famiglie exp) che non sono membri dell'altro tipo?

— Amelio Vazquez-Reina,

Non sono sicuro di quanto aggiungerà per te, ma una cosa che potrebbe renderlo più chiaro è leggere la formulazione originale delle distribuzioni e MRF di Gibbs in questo documento di Geman e Geman. Fondamentalmente, l'idea è quella di modellare qualcosa con una distribuzione di Boltzman (espandi al meno qualcosa) e poi chiedere come si realizza il qualcosa. A causa di questo modo di descriverlo, potrebbe essere più ovvio il loro legame con le famiglie esponenziali.

— ely,

Le famiglie esponenziali sono definite dal fatto che la densità del tronco è essenzialmente un prodotto scalare di una funzione vettoriale delle osservazioni e di una funzione vettoriale dei parametri. Non esiste una struttura grafica coinvolta in questa definizione. Le MRF coinvolgono inoltre un grafico che definisce le cricche, i quartieri, ecc. Quindi, le MRF sono famiglie esponenziali con una struttura aggiunta, il grafico.

— Xi'an,

Immagino che la confusione nel contraddire commenti / risposte dipenda dal fatto che ti sia permesso introdurre fattori che non sono loglineari rispetto ai loro parametri.

— Yaroslav Bulatov,

Hai pienamente ragione: l'argomento che hai presentato mette in relazione la famiglia esponenziale con il principio della massima entropia, ma non ha nulla a che fare con i MRF.

Per rispondere alle tre domande iniziali:

Tutti i membri delle famiglie esponenziali possono essere rappresentati come MRF?

P (X = X) = \underset{C \in c l (sol)}{Π} φ_{C} (X_{C} = X_{C})

$P(X=x) = \prod_{C \in cl(G)} \phi_C(X_C = x_C)$

c l (G)

$cl(G)$

G

$G$ . Da questa definizione si può vedere che un grafico completamente connesso, sebbene completamente non informativo, è coerente con qualsiasi distribuzione.

Tutti i MRF sono membri delle famiglie esponenziali?

$are$

$\neq$

Le distribuzioni di miscele sono esempi comuni di distribuzioni familiari non esponenziali. Considera il modello spaziale dello stato gaussiano lineare (come un modello Markov nascosto, ma con stati nascosti continui e distribuzione gaussiana delle distribuzioni e delle emissioni). Se si sostituisce il kernel di transizione con una combinazione di gaussiani, la distribuzione risultante non fa più parte della famiglia esponenziale (ma mantiene comunque la ricca struttura di indipendenza condizionale caratteristica dei modelli grafici pratici).

[1] http://en.wikipedia.org/wiki/Markov_random_field

— Ha disegnato
fonte