Dov'è la teoria dei grafi nei modelli grafici?

29

Le introduzioni ai modelli grafici li descrivono come "... un matrimonio tra teoria dei grafi e teoria delle probabilità".

Ottengo la parte della teoria della probabilità ma ho difficoltà a capire dove si inserisce esattamente la teoria dei grafi. Quali intuizioni della teoria dei grafi hanno contribuito ad approfondire la nostra comprensione delle distribuzioni di probabilità e del processo decisionale in condizioni di incertezza?

Sto cercando esempi concreti, oltre all'ovvio uso della terminologia teorica dei grafi nei PGM, come classificare un PGM come "albero" o "bipartito" o "non orientato", ecc.

graphical-model graph-theory distributions

— Vimal
fonte

33

Vi è pochissima vera teoria dei grafi matematici nei modelli grafici probabilistici, dove per vera teoria dei grafi matematica intendo prove su cricche, ordini di vertici, teoremi di taglio minimo a flusso massimo e così via. Persino qualcosa di fondamentale come il Teorema di Eulero e il Handshaking Lemma non vengono utilizzati, anche se suppongo che si potrebbero invocarli per verificare alcune proprietà del codice del computer utilizzato per aggiornare le stime probabilistiche. Inoltre, i modelli grafici probabilisti usano raramente più di un sottoinsieme delle classi di grafici, come i multi-grafici. I teoremi sui flussi nei grafici non sono usati nei modelli grafici probabilistici.

Se lo studente A fosse un esperto di probabilità ma non sapesse nulla della teoria dei grafi e lo studente B fosse un esperto di teoria dei grafi ma non sapesse nulla della probabilità, allora sicuramente A imparerebbe e capirà i modelli grafici probabilistici più velocemente di quanto B.

— David G. Stork
fonte

8

In senso stretto, la teoria dei grafi sembra vagamente connessa ai PGM. Tuttavia, gli algoritmi grafici sono utili. I PGM iniziarono con l'inferenza di passaggio di messaggi, che è un sottoinsieme della classe generale di algoritmi di passaggio di messaggi sui grafici (può essere, questa è la ragione della parola "grafica" in essi). Gli algoritmi di taglio grafico sono ampiamente utilizzati per l'inferenza di campo casuale di Markov nella visione artificiale; si basano sui risultati affini al teorema di Ford – Fulkerson (il flusso massimo è uguale al taglio minimo); gli algoritmi più popolari sono probabilmente Boykov – Kolmogorov e IBFS.

Riferimenti. [Murphy, 2012 , §22.6.3] copre l'utilizzo di tagli grafici per l'inferenza MAP. Vedi anche [Kolmogorom e Zabih, 2004 ; Boykov et al., PAMI 2001] , che coprono l'ottimizzazione piuttosto che la modellazione.

— Roman Shapovalov
fonte

Interessante notare che gli algoritmi di taglio grafico sono utilizzati negli MRF. Potresti indicare un riferimento? Sulla base della risposta di David Stork sopra, sembra che questi algoritmi derivino dal fatto che la teoria dei grafi era un utile strumento di modellazione, piuttosto che una connessione fondamentale tra la teoria dei grafi e le PGM.

— Vimal,

Ho aggiunto i riferimenti come da lei richiesto. A partire dalla tua ultima affermazione, come possiamo separare le cause, ovvero dire se è fondamentale o no?

— Roman Shapovalov,

@overrider potresti fornire riferimenti completi in modo che i documenti possano essere facilmente cercati ..? Googling può condurre le persone ai riferimenti, ma potrebbe anche finire con la perdita di tempo per risultati irrilevanti. Quindi titoli, editori, nomi di riviste, link ecc. Sono una buona cosa da aggiungere.

— Tim

2

Gli algoritmi di taglio del grafico sono utili nella visione artificiale ma non nei modelli grafici probabilistici. Un problema nella visione stereo è il problema della corrispondenza: trovare quali punti nell'immagine A corrispondono ai punti nell'immagine B. È possibile impostare un grafico in cui i vertici corrispondono ai punti funzione nelle due immagini e un grafico rappresenta tutte le possibili corrispondenze. Quindi il problema di trovare le corrispondenze "appropriate" può essere lanciato come un problema di taglio grafico. Non esiste un tale uso nei modelli grafici generici, anche se suppongo che si potrebbe provare a mappare questo problema di visione artificiale su modelli grafici.

— David G. Stork,

2

@ DavidG.Stork Ci sono altri problemi di visione artificiale che applicano i tagli dei grafici in modo simile: segmentazione delle immagini, creazione di collage, ecc., Quindi l'approccio è abbastanza generale. Tali problemi possono essere espressi naturalmente in termini di modelli grafici non indirizzati (sebbene i documenti non lo facciano sempre). Ciò consente di utilizzare diversi algoritmi di inferenza MRF, nonché l'adattamento del modello. D'altra parte, i tagli dei grafici possono ottimizzare un sottoinsieme abbastanza ampio di MRF, quindi possono essere applicati oltre la visione, ad esempio per l'analisi dei social network (anche se non riesco a ricordare documenti specifici ora).

— Roman Shapovalov,

4

C'è stato qualche lavoro di indagine sul collegamento tra la facilità di decodifica dei codici di controllo di parità a bassa densità (che ottiene risultati eccellenti se lo si considera un grafico probabilistico e si applica la propagazione di credenze a loop) e la circonferenza del grafico formata dalla matrice di controllo di parità . Questo collegamento con la circonferenza risale al momento in cui furono inventati gli LDPC [1] ma ci sono stati ulteriori lavori nell'ultimo decennio circa [2] [3] dopo che sono stati riscoperti separatamente da Mackay et al [4] e le loro proprietà sono state notate .

Vedo spesso il commento di Pearl sul tempo di convergenza della propagazione delle credenze a seconda del diametro del grafico che viene citato. Ma non conosco alcun lavoro che guardi i diametri dei grafici nei grafici non ad albero e quali effetti abbia.

RG Gallager. Codici di controllo della parità a bassa densità. MIT Press, 1963
IE Bocharova, F. Hug, R. Johannesson, BD Kudryashov e RV Satyukov. Nuovi codici di controllo di parità a bassa densità con circonferenza ampia basata su ipergrafi. In Information Theory Proceedings (ISIT), Simposio internazionale IEEE 2010 su, pagine 819–823, 2010.
SC Tatikonda. Convergenza dell'algoritmo somma-prodotto. In Information Theory Workshop, 2003. Atti. 2003 IEEE, pagine 222 - 225, 2003
David JC MacKay e RM Neal. Near Shannon limita le prestazioni dei codici di controllo di parità a bassa densità. Electronics Letters, 33 (6): 457–458, 1997.

— colpetto
fonte

3

Un'applicazione riuscita di algoritmi grafici a modelli grafici probabilistici è l' algoritmo Chow-Liu . Risolve il problema di trovare la struttura grafica ottimale (ad albero) e si basa sull'algoritmo MST (Maximum Spanning Tree).

Una probabilità comune su un modello grafico ad albero può essere scritta come: Possiamo scrivere una verosimiglianza logaritmica come segue: dove sono le informazioni reciproche tra e dato il massimo empirico (ML) distribuzione che conta il numero di volte in cui un nodo era nello stato . Poiché il primo termine è indipendente dalla topologia

p (x | T) = \prod_{t \in V} p (x_{t}) \prod_{(s, t) \in E} \frac{p (x_{s}, x_{t})}{p (x_{s}) p (x_{t})}

$\begin{equation} p(x|T) = \prod_{t\in V} p(x_t) \prod_{(s,t) \in E} \frac{p(x_s, x_t)}{p(x_s)p(x_t)} \end{equation}$

\frac{1}{N} \log P (D | θ, T) = \sum_{t \in V} \sum_{k} p_{M L} (x_{t} = k) \log p_{M L} (x_{t} = k) + \sum_{(s, t) \in E} I (x_{s}; x_{t} | θ_{s t})

$\begin{equation} \frac{1}{N}\log P(D|\theta, T) = \sum_{t\in V}\sum_k p_{ML}(x_t=k) \log p_{ML}(x_t=k) + \sum_{(s,t)\in E} I(x_s; x_t|\theta_{st}) \end{equation}$

I (x_{s}; x_{t} | θ_{s t})

$I(x_s;x_t|\theta_{st})$

x_{s}

$x_s$

x_{t}

$x_t$

x

$x$

k

$k$

T

$T$ , possiamo ignorarlo e concentrarci sulla massimizzazione del secondo termine.

La probabilità logaritmica viene massimizzata calcolando l'albero di spanning del peso massimo, in cui i pesi del bordo sono i termini di informazione reciproca a coppie . L'albero di spanning del peso massimo può essere trovato usando l'algoritmo di Prim e l'algoritmo di Kruskal . $I(x_s;x_t|\theta_{st})$

— Vadim Smolyakov
fonte

Ciao Vadim. Grazie per la risposta. Come formulazione in termini teorici dei grafici, ha senso. Ma si potrebbe vedere anche come un problema di ottimizzazione. Lo spirito della domanda era di indagare su una connessione più fondamentale. Ad esempio, si può formulare il problema di ordinamento come un ordinamento topologico su un grafico, in cui i nodi sono numeri e le frecce indicano <= relazione. Ma ciò non crea una connessione fondamentale tra ordinamento e algoritmi grafici, giusto?

— Vimal,