Cosa sono le catene Markov?

Attualmente sto leggendo alcuni articoli sul lump della catena di Markov e non riesco a vedere la differenza tra una catena di Markov e un grafico ponderato diretto.

Ad esempio nell'articolo Raggruppamento ottimale dello spazio di stato nelle catene di Markov forniscono la seguente definizione di un marchio comunitario (catena di Markov a tempo continuo):

Consideriamo un CTMC finito con spazio di stato S = { x 1 , x 2 , … , x n } da una matrice di velocità di transizione Q : S × S → R + .$(\mathcal{S}, Q)$$\mathcal{S} = \{x_1, x_2, \ldots, x_n\}$$Q: \mathcal{S} \times \mathcal{S} \to \mathbb{R}^+$

Non menzionano affatto la proprietà Markov e, in effetti, se il peso sui bordi rappresenta una probabilità credo che la proprietà Markov detenga banalmente poiché la probabilità dipende solo dallo stato corrente della catena e non dal percorso che conduce ad esso.

In un altro articolo sulle proprietà relazionali della grumosità, le catene di Markov sono definite in modo simile:

Una catena Markov sarà rappresentata come una tripletta ( S , P , π ) dove S è l'insieme finito di stati di M , P la matrice di probabilità di transizione che indica la probabilità di passare da uno stato a un altro, e π è la probabilità iniziale distribuzione che rappresenta la probabilità che il sistema si avvii in un determinato stato.$M$$(S, P, \pi)$$S$$M$$P$$\pi$

Ancora una volta, nessuna menzione di passato o futuro o indipendenza.

C'è un terzo articolo Simple O (m logn) Time Markov Chain Lumping in cui non solo non affermano mai che i pesi sui bordi sono probabilità, ma dicono anche:

$W(s, s')$$W(s, s)$$-W(s, S \setminus \{s\})$

$[0,1]$

Quindi, ci sono due possibilità che vedo:

• Non ho capito cosa sia una catena Markov, o
• L'uso del termine catena di Markov in quei documenti è falso

Qualcuno potrebbe chiarire la situazione?

Sembra davvero che ci siano diverse comunità che usano quel termine e significano cose molto diverse. Da questi 3 articoli che sto prendendo in considerazione sembra che la proprietà Markov sia o banale o inutile, mentre guardando un diverso tipo di documenti sembra fondamentale.

$N$$N \times N$

Ma il primo documento definisce una notazione coerente con una catena di Markov a tempo continuo, talvolta chiamata processo di Markov , mentre il secondo documento definisce una notazione coerente con una catena di Markov a tempo discreto . Dicono

$P$$\pi$

$[0,1]$$P$$1$$\pi$$1$

Non riesco a leggere il terzo documento, è paywalled. Se le voci in ogni colonna della matrice devono essere sommate a 1, allora sono probabilità e parlano di catene di Markov a tempo discreto. Se le voci in ogni colonna possono essere sommate a un numero arbitrario, le voci rappresentano tassi non probabilità e parlano di catene di Markov a tempo continuo.

$1$

Con le catene Markov sia a tempo continuo che a tempo discreto, la proprietà Markov è implicita dai pesi dei bordi costanti (o equivalentemente dalle voci costanti nella matrice di transizione).

Le catene di Markov sono disponibili in due versioni: tempo continuo e tempo discreto.

Entrambe le catene di Markov a tempo continuo (CTMC) e le catene di Markov a tempo discreto (DTMC) sono rappresentate come grafici ponderati diretti.

Per i DTMC le transizioni richiedono sempre un'unità di "tempo". Di conseguenza, non c'è scelta per quale dovrebbe essere il tuo peso su un arco: metti la probabilità di andare su "j" dato che sei su "i".

Per i CTMC, il tempo di transizione tra due stati qualsiasi è necessariamente indicato da una variabile casuale esponenziale. Questa è la differenza chiave tra CTMC e DTMC: i DTMC hanno sempre un tempo di transizione unitario. I CTMC hanno un tempo di transizione casuale.

Per un CTMC, la convenzione è generalmente quella di mettere pesi su un arco in base alla velocità della variabile casuale esponenziale che va dalla sorgente alla destinazione. Questa è - la convenzione è quella di mettere i tassi sugli archi, non le probabilità.

Tassi negativi

Sebbene tutti i CTMC che ricordo siano rappresentati con tassi positivi ai margini, i tassi negativi emergono nell'analisi CTMC.

Supponiamo di trovarci nello stato A, che è collegato a B, C e D come di seguito.

A -> B (il tasso in A da B è negativo) A -> C (il tasso in A da C è negativo) D -> A (il tasso in A da D è positivo)

Questo probabilmente non è esattamente ciò a cui si riferisce il tuo documento; Lo sollevo per dimostrare che i pesi negativi non sono necessariamente ridicoli se qualcuno stava lavorando con una convenzione adeguata.

Proprietà Markov

Per i DTMC, hai ragione. La proprietà markov è soddisfatta banalmente. Per i CTMC, la proprietà markov è soddisfatta perché le transizioni sono date da variabili casuali esponenziali (che sono "senza memoria"). Se le transizioni non fossero date da variabili casuali esponenziali (diciamo invece che fossero uniformi), allora parleremmo di "Catene Semi-Markov" o "Processi Semi-Markov".