Qual è la differenza tra una rete Bayes (dinamica) e un HMM?

Ho letto che HMM, filtri antiparticolato e filtri Kalman sono casi speciali di reti Bayes dinamiche. Tuttavia, conosco solo HMM e non vedo la differenza con le reti Bayes dinamiche.

Qualcuno potrebbe spiegare per favore?

Sarebbe bello se la tua risposta potesse essere simile alla seguente, ma per le reti bayes:

Modelli nascosti di Markov

Un modello di Markov nascosto (HMM) è una 5 tupla : $\lambda = (S, O, A, B, \Pi)$

: un insieme di stati (ad esempio "inizio del fonema", "metà del fonema", "fine del fonema") $S \neq \emptyset$
: una serie di possibili osservazioni (segnali audio) $O \neq \emptyset$
: Una matrice stocastica che fornisce probabiliti per passare dallo stato allo stato . $A \in \mathbb{R}^{|S| \times |S|}$ $(a_{ij})$ $i$ $j$
: Una matrice stocastica che fornisce probabilità per ottenere nello stato l'osservazione . $B \in \mathbb{R}^{|S| \times |O|}$ $(b_{kl})$ $k$ $l$
: Distribuzione iniziale da avviare in uno degli stati. $\Pi \in \mathbb{R}^{|S|}$

Di solito viene visualizzato come un grafico diretto, in cui ciascun nodo corrisponde a uno stato e le probabilità di transizione sono indicate sui bordi. $s \in S$

I modelli nascosti di Markov sono chiamati "nascosti", perché lo stato corrente è nascosto. Gli algoritmi devono indovinarlo dalle osservazioni e dal modello stesso. Si chiamano "Markov", perché per lo stato successivo conta solo lo stato attuale.

Per gli HMM, si fornisce una topologia fissa (numero di stati, possibili bordi). Quindi ci sono 3 possibili compiti

Valutazione : dato un MMM , quanto è probabile che ottenga osservazioni (algoritmo Forward) $\lambda$ $o_1, \dots, o_t$
Decodifica : dato un HMM e osservazioni $\lambda$ , qual è la sequenza più probabile di stati (algoritmo di Viterbi) $o_1, \dots, o_t$ $s_1, \dots, s_t$
Apprendimento : impara : algoritmo Baum-Welch , che è un caso speciale di massimizzazione delle aspettative. $A, B, \Pi$

Reti Bayes

Le reti di Bayes sono dirette grafici aciclici (DAG) . I nodi rappresentano variabili casuali $G = (\mathcal{X}, \mathcal{E})$ . Per ogni , esiste una distribuzione di probabilità che è condizionata dai genitori di : $X \in \mathcal{X}$ $X$ $X$

P (X | genitori (X))

$P(X|\text{parents}(X))$

Sembra che ci siano (chiarire) due compiti:

Inferenza : date alcune variabili, ottieni i valori più probabili delle altre variabili. L'inferenza esatta è NP-difficile. Approssimativamente, è possibile utilizzare MCMC.
Apprendimento : come apprendi queste distribuzioni dipende dal problema esatto ( fonte ):
- struttura nota, pienamente osservabile: stima della massima verosimiglianza (MLE)
- struttura nota, parzialmente osservabile: Expectation Maximization (EM) o Markov Chain Monte Carlo (MCMC)
- struttura sconosciuta, completamente osservabile: ricerca nello spazio modello
- struttura sconosciuta, parzialmente osservabile: ricerca EM + nello spazio modello

Reti Bayes dinamiche

Immagino che le reti dinamiche di Bayes (DBN) siano anche modelli grafici probabilistici diretti. La variabilità sembra provenire dalla rete che cambia nel tempo. Tuttavia, mi sembra che ciò equivale a copiare solo la stessa rete e connettere ogni nodo al tempo con ogni nodo corrispondente al tempo $t$ . È così? $t+1$

bayesian-networks pgm

— Martin Thoma
fonte

1. È inoltre possibile apprendere la topologia di un MMM. 2. Quando si fa deduzione con le BN, oltre a richiedere stime della massima verosimiglianza, è anche possibile campionare dalle distribuzioni, stimare le probabilità o fare qualsiasi altra teoria sulla probabilità consentita. 3. Un DBN è solo un BN copiato nel tempo, con alcuni (non necessariamente tutti) nodi concatenati dal passato al futuro. In questo senso, un HMM è un semplice DBN con solo due nodi in ogni intervallo di tempo e uno dei nodi concatenati nel tempo.

— KT.

Ho chiesto a qualcuno di questo e mi hanno detto: "Gli HMM sono solo casi speciali di reti Bayes dinamiche, con ogni intervallo di tempo contenente una variabile latente, dipendente dalla precedente per dare una catena di Markov, e un'osservazione dipendente da ciascuna variabile latente. DBNs può avere una struttura che si evolve nel tempo ".

— Ashley,

Da una domanda di convalida incrociata simile segue la risposta di @jerad :

Gli HMM non equivalgono ai DBN, piuttosto sono un caso speciale di DBN in cui l'intero stato del mondo è rappresentato da una singola variabile di stato nascosta. Altri modelli all'interno del framework DBN generalizzano l'HMM di base, consentendo più variabili di stato nascoste (vedere il secondo documento sopra per le molte varietà).

Infine, no, i DBN non sono sempre discreti. Ad esempio, i modelli di stati gaussiani lineari (filtri di Kalman) possono essere concepiti come HMM a valore continuo, spesso utilizzati per tracciare oggetti nello spazio.

Consiglio di consultare questi due eccellenti documenti di revisione:

Un'introduzione ai modelli nascosti di Markov e alle reti bayesiane di Zoubin Gharamani

Reti bayesiane dinamiche di Kevin Murphy

— XBoard
fonte