Il processo di Markov dipende solo dallo stato precedente

Vorrei solo che qualcuno confermasse la mia comprensione o se mi mancasse qualcosa.

La definizione di un processo markov afferma che il passaggio successivo dipende solo dallo stato corrente e non da quelli passati. Quindi, supponiamo di avere uno spazio di stato di a, b, c, d e andiamo da a-> b-> c-> d. Ciò significa che il passaggio a d potrebbe dipendere solo dal fatto che eravamo in c.

Tuttavia, è vero che potresti semplicemente rendere il modello più complesso e in qualche modo "aggirare" questa limitazione? In altre parole, se il tuo spazio di stato fosse ora aa, ab, ac, ad, ba, bb, bc, bd, ca, cb, cc, cd, da, db, dc, dd, significa che il tuo nuovo spazio di stato diventa stato precedente combinato con lo stato corrente, quindi la transizione precedente sarebbe * a-> ab-> bc-> cd e quindi la transizione a cd (equivalente nel modello precedente a d) è ora "dipendente" da uno stato che, se modellato diversamente, è uno stato precedente (mi riferisco ad esso come uno stato secondario di seguito).

Sono corretto in quanto si può fare in modo che "dipenda da stati precedenti (sottostato)" (so tecnicamente che non è nel nuovo modello poiché lo stato secondario non è più uno stato reale) mantenere la proprietà markov espandendo lo spazio degli stati come ho fatto io? Quindi, si potrebbe in effetti creare un processo markov che potrebbe dipendere da un numero qualsiasi di stati secondari precedenti.

Tecnicamente, entrambi i processi che descrivi sono catene markov. La differenza è che la prima è una catena markov del primo ordine mentre la seconda è una catena markov del secondo ordine. E sì, è possibile trasformare una catena markov di secondo ordine in una catena markov di primo ordine modificando opportunamente la definizione dello spazio degli stati. Lasciami spiegare con un esempio.

$W_t$$R$$S$$C$

Catena di Markov del primo ordine

$P(W_t = w | W_{t-1}, W_{t-2},W_{t-3} ..) = P(W_t = w | W_{t-1})$

Catena di Markov del secondo ordine

$P(W_t = w | W_{t-1}, W_{t-2},W_{t-3} ..) = P(W_t = w | W_{t-1},W_{t-2})$

La catena markov del secondo ordine può essere trasformata in una catena markov del primo ordine ridefinendo lo spazio degli stati come segue. Definire:

$Z_{t-1,t}$

$RR$$RC$$RS$$CR$$CC$$CS$$SR$$SC$$SS$

$P(Z_{t-1,t} = z_{t-1,t} | Z_{t-2,t-1}, Z_{t-3,t-2}, ..) = P(Z_{t-1,t} = z_{t-1,t} | Z_{t-2,t-1})$

Quanto sopra è chiaramente una catena markov del primo ordine nello spazio di stato ridefinito. L'unica differenza rispetto alla catena markov del secondo ordine è che la catena markov ridefinita deve essere specificata con due stati iniziali iniziali, vale a dire che la catena deve essere avviata con alcune ipotesi sul tempo il giorno 1 e il giorno 2.

La definizione di un processo markov afferma che il passaggio successivo dipende solo dallo stato corrente e non da quelli passati.

$n^{th}$$n-1$

$n^{th}$$n$$n^{th}$$k$$O(k^{2n})$

Potresti dare un'occhiata a documenti recenti come le catene multivariate di ordine superiore e le loro applicazioni poiché questo campo avanza rapidamente.