Differenza tra modelli Markov nascosti e filtro antiparticolato (e filtro Kalman)


21

Ecco la mia vecchia domanda

Vorrei chiedere se qualcuno conosce la differenza (se c'è qualche differenza) tra i modelli Hidden Markov (HMM) e Particle Filter (PF), e di conseguenza Kalman Filter, o in quali circostanze utilizziamo quale algoritmo. Sono uno studente e devo fare un progetto, ma prima devo capire alcune cose.

Quindi, secondo la bibliografia, entrambi sono modelli dello spazio degli stati , inclusi stati nascosti (o latenti o non osservati). Secondo Wikipedia (Hidden_Markov_model)in HMM, lo spazio degli stati delle variabili nascoste è discreto, mentre le osservazioni stesse possono essere discrete (in genere generate da una distribuzione categoriale) o continue (in genere da una distribuzione gaussiana). I modelli nascosti di Markov possono anche essere generalizzati per consentire spazi di stato continui. Esempi di tali modelli sono quelli in cui il processo di Markov su variabili nascoste è un sistema dinamico lineare, con una relazione lineare tra variabili correlate e dove tutte le variabili nascoste e osservate seguono una distribuzione gaussiana. In casi semplici, come il sistema dinamico lineare appena menzionato, l'inferenza esatta è tracciabile (in questo caso, usando il filtro Kalman); tuttavia, in generale, l'inferenza esatta negli HMM con variabili latenti continue è impossibile e devono essere utilizzati metodi approssimativi,

Ma per me questo è un po 'confuso ... In parole semplici significa che segue (basato anche su più ricerche che ho fatto):

  • In HMM, lo spazio degli stati può essere discreto o continuo . Anche le osservazioni stesse possono essere discrete o continue . Anche HMM è un sistema dinamico lineare e gaussiano o non gaussiano.
  • In PF, lo spazio degli stati può essere discreto o continuo . Anche le osservazioni stesse possono essere discrete o continue . Ma PF è un sistema dinamico non lineare (e non gaussiano?) (È questa la differenza?).
  • Il filtro Kalman (anche a me sembra lo stesso dell'HMM) viene utilizzato quando abbiamo un sistema dinamico lineare e gaussiano .

Inoltre, come faccio a sapere quale algoritmo scegliere, perché a me sembrano tutti uguali ... Inoltre ho trovato un documento (non in inglese) che dice che PF sebbene possa avere dati lineari (ad esempio dati grezzi da un sensore-kinect che riconosce un movimento), il sistema dinamico può essere non lineare. Questo può succedere? È corretto? Come?

Per il riconoscimento dei gesti, i ricercatori possono utilizzare HMM o PF, ma non spiegano perché selezionano ciascun algoritmo ... Qualcuno sa come posso essere aiutato a distinguere questi algoritmi, a capire le loro differenze e come scegliere l'algoritmo migliore?

Mi dispiace se la mia domanda è troppo grande o alcune parti sono ingenue ma non ho trovato da qualche parte una risposta convincente e scientifica. Grazie mille in anticipo per il tuo tempo!

Ecco la mia NUOVA domanda (secondo l'aiuto di @ conjugateprior)

Quindi, con ulteriori letture, vorrei aggiornare alcune delle mie parti del mio commento precedente e assicurarmi di aver compreso un po 'di più quello che sta succedendo.

  • Ancora una volta in parole semplici, l'ombrello è rappresentato dalle reti bayesiane dinamiche in cui sono inclusi i modelli di HMM e lo spazio degli stati (sottoclassi) ( http://mlg.eng.cam.ac.uk/zoubin/papers/ijprai.pdf ).
  • Inoltre, la differenza iniziale tra i 2 modelli è che, in HMM, le variabili di stato nascoste sono discrete , mentre le osservazioni possono essere discrete o continue . In PF le variabili di stato nascoste sono continue (vettore di stato nascosto con valori reali) e le osservazioni hanno distribuzioni gaussiane .
  • Inoltre, secondo @conjugateprior ogni modello ha i 3 seguenti compiti: filtraggio, livellamento e previsione. Nel filtraggio, il modello HMM utilizza per le variabili di stato nascoste discrete il metodo Algoritmo Forward, lo spazio degli stati utilizza per le variabili continue e il sistema dinamico lineare il filtro Kalman, ecc.
  • Tuttavia, HMM può anche essere generalizzato per consentire spazi di stato continui .
  • Con queste estensioni di HMM, i 2 modelli sembrano concettualmente identici (come è anche menzionato in Hidden Markov Model vs Markov Transition Model vs State-Space Model ...? ).

Penso che sto usando un po 'più accurata la terminologia, ma comunque tutto mi è sfocato. Qualcuno può spiegarmi qual è la differenza tra il modello HMM e il modello Space State ?

Perché non riesco davvero a trovare una risposta che si adatti alle mie esigenze.

Grazie ancora!


1
Se la biblioteca della tua scuola ha questo libro: crcpress.com/Time-Series-Modeling-Computation-and-Inference/… Vorrei dare un'occhiata a questo. Fa un buon lavoro nel spiegare tutti e tre gli argomenti che, potrei menzionare, sono tre argomenti molto distinti.

Ho appena controllato che la biblioteca non abbia questo libro, sfortunatamente .. quindi se potessi inviarmi le parti che ritieni rispondano alla mia domanda o aiutarmi a distinguere anche questi argomenti, sarebbe fantastico! :)
user5584748

Risposte:


15

Sarà utile distinguere il modello dall'inferenza che vuoi fare con esso, perché ora la terminologia standard mescola i due.

Il modello è la parte in cui si specifica la natura di: lo spazio nascosto (discreto o continuo), la dinamica dello stato nascosto (lineare o non lineare) la natura delle osservazioni (tipicamente multinomiali o normali) e il modello di misurazione che si collega lo stato nascosto alle osservazioni. HMM e modelli di spazio degli stati sono due di questi insiemi di specifiche del modello.

tt

In situazioni in cui lo stato è continuo, la dinamica dello stato e la misurazione sono lineari e tutto il rumore è normale, un filtro Kalman farà quel lavoro in modo efficiente. Il suo analogo quando lo stato è discreto è l'algoritmo Forward. Nel caso in cui non ci sia Normalità e / o non linearità, si ricorre ai filtri approssimativi. Esistono approssimazioni deterministiche, ad esempio un filtro Kalman esteso o non profumato, e ci sono approssimazioni stocastiche, la più nota delle quali è il filtro antiparticolato.

La sensazione generale sembra essere quella in presenza di inevitabile non linearità nello stato o parti di misurazione o non normalità nelle osservazioni (le situazioni problematiche comuni), si cerca di cavarsela con l'approssimazione più economica possibile. Quindi, EKF poi UKF poi PF.

La letteratura sul filtro Unscented Kalman di solito presenta alcuni confronti di situazioni in cui potrebbe funzionare meglio della tradizionale linearizzazione del filtro Kalman esteso.

Il filtro antiparticolato ha una generalità quasi completa - qualsiasi non linearità, qualsiasi distribuzione - ma nella mia esperienza ha richiesto un'accurata messa a punto ed è generalmente molto più ingombrante rispetto agli altri. In molte situazioni, tuttavia, è l'unica opzione.

Per quanto riguarda ulteriori letture: mi piacciono i ch.4-7 del Bayesian Filtering e Smoothing di Särkkä, anche se è piuttosto conciso. L'autore rende disponibile una copia online per uso personale. In caso contrario, la maggior parte dei libri di serie temporali dello spazio coprirà questo materiale. Per il filtro antiparticolato, c'è un Doucet et al. volume sull'argomento, ma immagino che ora sia piuttosto vecchio. Forse altri indicheranno un riferimento più recente.


Innanzitutto grazie mille per la tua risposta. Si prega di verificare che ho modificato la domanda sopra per essere più coerente e preciso con la terminologia. Ho anche riformulato tutta la mia domanda.
user5584748

Nella tua riscrittura non è del tutto vero che "In PF le variabili di stato nascoste sono continue (vettore di stato nascosto con valori reali) e le osservazioni hanno distribuzioni gaussiane". PF è un filtro. Il modello per il quale si tratta di un filtro deve avere uno spazio di stato continuo (con una struttura markoviana o altro) ma non è vincolato: eventuali distribuzioni, dinamiche e processi di misurazione.
conjugateprior,

Ad esempio, è possibile utilizzare un PF per filtrare un normale modello spaziale di stato gaussiano lineare. Funzionerebbe bene. Non è necessario poiché il filtro Kalman è esatto.
conjugateprior il

4
"Qual è la differenza tra il modello HMM e il modello Space State?" Fondamentalmente: per convenzione, gli HMM hanno uno stato discreto. Sempre per convenzione, i "modelli spaziali di stato" denotano cose con stato continuo.
conjugateprior,

Grazie mille! Quindi questa differenza è avvenuta per convenzione (e secondo la bibliografia). Ma in generale, possiamo scegliere qualunque modello desideriamo. È corretto? Il modello che sceglierò dipende dal fatto che avrò risultati migliori?
user5584748
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.