Nel loro libro di testo, Modelli grafici, Famiglie esponenziali e inferenza variabile , M. Jordan e M. Wainwright discutono della connessione tra famiglie esponenziali e Markov Random Fields (modelli grafici non indirizzati).
Sto cercando di capire meglio la relazione tra loro con le seguenti domande:
- Tutti i MRF sono membri delle famiglie esponenziali?
- Tutti i membri delle famiglie esponenziali possono essere rappresentati come MRF?
- Se MRF famiglie esponenziali, che cosa sono alcuni esempi di buone di distribuzioni di un tipo non ncluded nell'altra ?
Da quello che ho capito nel loro libro di testo (capitolo 3), Jordan e Wainwright presentano il prossimo argomento:
Supponiamo di avere una variabile casuale scalare X che segue una certa distribuzione e di disegnare n osservazioni X 1 , ... X n e che vogliamo identificare p .
Calcoliamo le aspettative empiriche di alcune funzioni
per tuttiα∈I
dove ogni in alcuni insiemi I indicizza una funzione ϕ α : X → R
Quindi se forziamo le seguenti due serie di quantità per essere coerenti, cioè per abbinare (per identificare ):
Le aspettative delle statistiche sufficienti ϕ della distribuzione p
Le aspettative sotto la distribuzione empirica
abbiamo un problema indeterminato , nel senso che ci sono molte distribuzioni che sono coerenti con le osservazioni. Quindi abbiamo bisogno di un principio per scegliere tra loro (per identificare p ).
Se usiamo il principio della massima entropia per rimuovere questa indeterminatezza, possiamo ottenere una singola :
soggetti a E p [ ( & Phi; alfa ( X ) ] = u alfa per tutti alfa ∈ I
dove questo assume la forma p θ ( x ) ∝ exp ∑ α ∈ I θ α ϕ α ( x ) , dove θ ∈ R d rappresenta una parametrizzazione della distribuzione in forma di famiglia esponenziale.
In altre parole, se noi
- Rendere le aspettative delle distribuzioni coerenti con le aspettative della distribuzione empirica
- Usa il principio della massima entropia per eliminare l'indeterminazione
Finiamo con una distribuzione della famiglia esponenziale.
Tuttavia, questo sembra più un argomento per introdurre famiglie esponenziali e (per quanto posso capire) non descrive la relazione tra MRF e exp. famiglie. Mi sto perdendo qualcosa?