Qual è la differenza tra un campo casuale Markov e un campo casuale condizionale?

Se aggiusto i valori dei nodi osservati di un MRF, diventa un CRF?

Ok, ho trovato la risposta da solo:

Conditinal Random Fields (CRFs) sono un caso speciale di Markov Random Fields (MRFs).

1.5.4 Campo casuale condizionale

Un campo casuale condizionale (CRF) è una forma di MRF che definisce un posteriore per variabili x dati dati z, come con l'MRF nascosto sopra. A differenza dell'MRF nascosto, tuttavia, la fattorizzazione nella distribuzione dei dati P (x | z) e la precedente P (x) non è resa esplicita [288]. Ciò consente alle dipendenze complesse di x su z di essere scritte direttamente nella distribuzione posteriore, senza che la fattorizzazione sia resa esplicita. (Dato P (x | z), esistono sempre tali fattorizzazioni - infinitamente molte di esse, in effetti - quindi non c'è alcun suggerimento che il CRF sia più generale dell'MRF nascosto, solo che può essere più conveniente affrontarlo .)

Fonte: Blake, Kohli e Rother: Markov campi casuali per la visione e l'elaborazione delle immagini. 2011.

Un campo casuale condizionato o CRF (Lafferty et al. 2001), a volte un campo casuale discriminatorio (Kumar e Hebert 2003), è solo una versione di un MRF in cui tutti i potenziali di cricca sono condizionati dalle caratteristiche di input: [...]

Il vantaggio di un CRF rispetto a un MRF è analogo al vantaggio di un classificatore discriminativo rispetto a un classificatore generativo (vedere la Sezione 8.6), vale a dire che non abbiamo bisogno di "sprecare risorse" modellando cose che osserviamo sempre. [...]

Lo svantaggio dei CRF rispetto ai MRF è che richiedono dati di addestramento etichettati e sono più lenti ad allenarsi [...]

Fonte: Kevin P. Murphy: Apprendimento automatico: una prospettiva probabilistica

Rispondere alla mia domanda:

Se aggiusto i valori dei nodi osservati di un MRF, diventa un CRF?

Sì. La correzione dei valori è la stessa del loro condizionamento. Tuttavia, dovresti notare che ci sono anche differenze nell'allenamento.

Guardare molte delle lezioni su PGM (modelli grafici probabilistici) sulla corsia mi ha aiutato molto.

Reti MRF vs Bayes : parlando in modo poco preciso (ma normalmente) , esistono due tipi di modelli grafici: modelli grafici non indirizzati e modelli grafici diretti (un altro tipo, ad esempio il grafico di Tanner). Il primo è noto anche come rete Markov Random Fields / Markov e la successiva rete Bayes / rete bayesiana. (A volte le ipotesi di indipendenza in entrambi possono essere rappresentate da grafici cordali)

Markov implica il modo in cui fattorizza e campo casuale significa una distribuzione particolare tra quelle definite da un modello non orientato.

CRF $\in$ MRF : quando vengono osservate alcune variabili possiamo usare la stessa rappresentazione grafica non indirizzata (come i grafici non indirizzati) e la parametrizzazione per codificare una distribuzione condizionale $P(Y|X)$ dove $Y$ è un insieme di variabili target e $X$ è un (disgiunto) ) insieme di variabili osservate.

E l'unica differenza sta nel fatto che per una rete Markov standard il termine di normalizzazione è sommato a X e Y, ma per CRF il termine si somma solo a Y.

Riferimento:

1. Modelli grafici non indirizzati (campi casuali di Markov)
2. Principi e tecniche dei modelli grafici probabilistici (2009, The MIT Press)
3. Markov campi casuali

Contrastiamo l'inferenza condizionale sotto MRF con la modellazione usando un CRF, stabilendo le definizioni lungo la strada, e quindi affrontiamo la domanda originale.

MRF

$G$

1. $G$
2. $G$$V_i$$V_j$$V_i$$V_j$$\mathcal{B}_i$$P(\{V_i\})$ $G$

Inferenza condizionale sotto un MRF

Poiché un MRF rappresenta una distribuzione congiunta su molte variabili che obbedisce ai vincoli di Markov, allora possiamo calcolare le distribuzioni condizionali di probabilità dati i valori osservati di alcune variabili.

Ad esempio, se ho una distribuzione congiunta su quattro variabili casuali: IsRaining, SprinklerOn, SidewalkWet e GrassWet, allora lunedì potrei voler inferire la distribuzione di probabilità congiunta su IsRaining e SprinklerOn dato che ho osservato SidewalkWet = False e GrassWet = Vero. Martedì, potrei voler dedurre la distribuzione di probabilità congiunta su IsRaining e SprinklerOn dato che ho osservato SidewalkWet = True e GrassWet = True.

In altre parole, possiamo usare lo stesso modello MRF per fare inferenze in queste due diverse situazioni, ma non diremmo che abbiamo cambiato il modello. In effetti, sebbene abbiamo osservato SidewalkWet e GrassWet in entrambi i casi qui descritti, l'MRF stesso non ha "variabili osservate" di per sé --- tutte le variabili hanno lo stesso stato agli occhi dell'MRF, quindi anche l'MRF modella, ad esempio, la distribuzione congiunta di SidewalkWet e GrassWet.

CRF

$G$

1. $G$$\{X_i\}_{i=1}^n$$\{Y_i\}_{i=1}^m$
2. $P(\{Y_i\}_{i=1}^m|\{X_i\}_{i=1}^n)$$G$

La differenza

$G$

1. designa un sottoinsieme di variabili come "osservato"

2. definisce solo una distribuzione condizionale su variabili osservate date non osservate; non modella la probabilità delle variabili osservate (se le distribuzioni sono espresse in termini di parametri, questo è spesso visto come un vantaggio poiché i parametri non vengono sprecati nello spiegare la probabilità di cose che saranno sempre conosciute)

3. $G$

$\{X_i\}$$G$$G'$$\{Y_i\}$$\{Y_i\}$$\{X_i\}$$\{Y_i\}$$\{X_i\}$

Esempio

$Y_i$$X_1, X_2, ... X_{n-1}$$X_n$

$G$$\{X_i\}$$\{Y_i\}$$\{X_i\}$

Conclusione

$G$$G$$G$$G$$G$$G$

Oltre ai potenziali risparmi dei parametri dei modelli, alla maggiore espressività del modello condizionale e alla conservazione dell'efficienza dell'inferenza, un ultimo punto importante sulla ricetta CRF è che, per i modelli discreti (e un ampio sottogruppo di modelli non discreti), nonostante il espressività della famiglia CRF, la probabilità logaritmica può essere espressa come una funzione convessa dei parametri della funzione che consente l'ottimizzazione globale con discesa gradiente.

Vedi anche: la carta crf originale e questo tutorial