Qual è la differenza tra catene di Markov e processi di Markov?

16

Sto leggendo informazioni contrastanti: a volte la definizione si basa sul fatto che lo spazio degli stati sia discreto o continuo, a volte si basa sul fatto che il tempo sia discreto o continuo.

Diapositiva 20 di questo documento :

Un processo di Markov è chiamato catena di Markov se lo spazio degli stati è discreto, ovvero lo spazio finito o numerabile è discreto, ovvero è finito o numerabile.

http://www.win.tue.nl/~iadan/que/h3.pdf :

Un processo Markov è la versione a tempo continuo di una catena Markov.

Oppure si può usare la catena di Markov e il processo di Markov in modo sinonimo, determinando se il parametro time è continuo o discreto e se lo spazio degli stati è continuo o discreto.

Aggiornamento 2017-03-04: la stessa domanda è stata posta su https://www.quora.com/Can-I-use-the-words-Markov-process-and-Markov-chain-interchangeably

terminology stochastic-processes markov-process

— Franck Dernoncourt
fonte

1

Nella mia esperienza, la prima definizione è sbagliata. Le catene di Markov sono usate spesso nel contesto del campionamento da una distribuzione posteriore (MCMC). Questi posteriori possono essere definiti su uno spazio finale o continuo; quindi la prima definizione è probabilmente errata. Il secondo ha più senso. Tuttavia, non penso che ci sia molta differenza tra, dal momento che ho visto spesso la frase, catene di Markov a tempo continuo.

— Greenparker,

1

ricordo che ciò che ho imparato dal libro di testo è che il processo di markov è il termine più generico, e la catena di markov è tempo discreto e indica un caso speciale discreto.

— Haitao Du,

8

Dalla prefazione alla prima edizione di "Markov Chains and Stochastic Stability" di Meyn e Tweedie:

Qui ci occupiamo di Markov Chains. Nonostante i tentativi iniziali di Doob e Chung [99,71] di riservare questo termine per sistemi che si evolvono in spazi numerabili con parametri di tempo sia discreti che continui, l'uso sembra aver decretato (vedi ad esempio Revuz [326]) in cui si muovono le catene di Markov tempo discreto, in qualunque spazio desiderino; e tali sono i sistemi che descriviamo qui.

Modifica: i riferimenti citati dal mio riferimento sono, rispettivamente:

99: JL Doob. Processi stocastici . John Wiley & Sons, New York 1953

71: KL Chung. Catene di Markov con probabilità di transizione stazionarie . Springer-Verlag, Berlino, seconda edizione, 1967.

326: D. Revuz. Catene di Markov . Olanda settentrionale, Amsterdam, seconda edizione, 1984.

— Taylor
fonte

6

Un metodo di classificazione dei processi stocastici si basa sulla natura del time parameter( discreto o continuo ) e state space( discreto o continuo ). Ciò porta a quattro categorie di processi stocastici.

Se il state spacedi processo stocastico è discreto , se l' time parameterè discreto o continuo , il processo è generalmente chiamato catena .

Se un processo stocastico possiede la proprietà di Markov , indipendentemente dalla natura del parametro del tempo (discreto o continuo) e dello spazio degli stati (discreto o continuo) , allora si chiama processo di Markov . Quindi, avremo quattro categorie di processi Markov.

A continuous time parameter, discrete state spaceprocesso stocastico possedere proprietà di Markov è chiamato un parametro continuo catena di Markov (CTMC) .

A discrete time parameter, discrete state spaceprocesso stocastico possedere proprietà di Markov è chiamato un parametro discreto catena di Markov (DTMC) .

Allo stesso modo, possiamo avere altri due processi Markov.

Aggiornamento 2017-03-09:

Every independent increment process is a Markov process.

Poisson processavere la proprietà di incremento indipendente è un Markov processparametro temporale continuo e spazio di stato discreto.

Brownian motion processavere la proprietà di incremento indipendente è un Markov processparametro con tempo continuo e processo di spazio di stato continuo.

— LVRao
fonte