Stima delle probabilità della catena di Markov

12

Quale sarebbe il modo comune di stimare la matrice di transizione MC data la serie temporale?

C'è una funzione R per farlo?

markov-process

— user333
fonte

È una catena markov a stato discreto o continuo?

— Macro

Discreto penso. Ho 5 possibili stati da S1 a S5

— user333

Sulla base delle belle risposte precedenti: sì, c'è un modo che è consapevole della posizione. Penso che sia possibile per mezzo dei modelli Markov di n-ordine.

14

Poiché le serie storiche sono valutate discretamente, è possibile stimare le probabilità di transizione in base alle proporzioni del campione. Sia lo stato del processo al momento , sia quindi la matrice di transizione $Y_{t}$ $t$ ${\bf P}$

P_{i j} = P (Y_{t} = j | Y_{t - 1} = i)

${\bf P}_{ij} = P(Y_{t} = j | Y_{t-1} = i)$

Poiché si tratta di una catena markov, questa probabilità dipende solo da , quindi può essere stimata dalla proporzione del campione. Sia il numero di volte in cui il processo è passato dallo stato a . Poi, $Y_{t-1}$ $n_{ik}$ $i$ $k$

{\hat{P}}_{i j} = \frac{n_{i j}}{\sum_{k = 1}^{m} n_{i k}}

$\hat{{\bf P}}_{ij} = \frac{ n_{ij} }{ \sum_{k=1}^{m} n_{ik} }$

dove è il numero di stati possibili ( nel tuo caso). Il denominatore, , è il numero totale di movimenti fuori dallo stato . Stimare le voci in questo modo corrisponde in realtà allo stimatore della massima probabilità della matrice di transizione, visualizzando i risultati come multinomiali, condizionati su . $m$ $m=5$ $\sum_{k=1}^{m} n_{ik}$ $i$ $Y_{t-1}$

Modifica: questo presuppone che le serie temporali siano osservate a intervalli equidistanti. Altrimenti, le probabilità di transizione dipenderebbero anche dal ritardo (anche se sono ancora markoviane).

— macro
fonte

6

Sento cosa stai dicendo. Le frequenze praticamente osservate saranno la mia matrice ... In parole semplici!

— user333

Che ne dici di spazio di stato continuo? Stai ancora lottando un po 'per capire il concetto?

— user333

1

Per uno spazio di stato continuo il problema diventa molto più complicato, poiché è quindi necessario stimare una funzione di transizione piuttosto che una matrice. In tal caso, poiché la probabilità marginale di trovarsi in uno stato particolare è 0 (analogamente a come la probabilità di prendere un punto particolare nello spazio campione è 0 per qualsiasi distribuzione continua) ciò che ho descritto sopra non ha senso. Nel caso continuo, credo che la stima della funzione di transizione sia la soluzione a una serie di equazioni differenziali (non ho molta familiarità con questo, quindi qualcuno, per favore, correggimi se sbaglio)

— Macro

Questo metodo non presuppone 1 osservazione continua, piuttosto che molte come per il post sottostante? Ad esempio, immagina che E fosse uno stato di assorbimento ... Quindi questo non sarebbe stato rivelato qui sicuramente?

— HCAI,

4

È molto, con l'ipotesi che le tue serie storiche siano stazionarie:

Per semplificare l'eccellente risposta di Macro

Ecco le tue serie temporali con 5 stati: A, B, C, D, E

AAAEDDDCBEEEDBADBECADAAAACCCDDE

Devi solo contare prima le transizioni: - lasciando A: 9 transizioni Tra quelle 9 transizioni, 5 sono A-> A, 0 A-> B, 1 A-> C, 2 A-> D, 1 A-> E Quindi la prima riga della matrice della probabilità di transizione è [5/9 0 1/9 2/9 1/9]

Lo fai contando per ogni stato e quindi ottieni la tua matrice 5x5.

— Mickaël S
fonte

Grande esempio, grazie. Quindi le catene di Markov si preoccupano solo del numero di transizioni, non della loro collocazione, giusto? Ad esempio, avrebbe AAABBBAuna stessa matrice di ABBBAAA?

— Marcin,

sì, con la catena di Markov se hai lo stesso numero di transizione avrai la stessa matrice. Ottima domanda. Anche se non hai la stessa sequenza esatta hai lo stesso "comportamento" e questo è il più importante nella modellazione, se vuoi ripetere la stessa sequenza esatta perché modellare? Basta ripetere i tuoi dati.

— Mickaël S,

Esiste un altro metodo di conteggio delle transizioni che riconosce la posizione? Sto facendo delle ricerche sul crack delle password, quindi sarebbe bello avere un metodo per valutare quale sarà il prossimo personaggio più probabile. Il problema con le password è che le persone tendono a seguire regole come mettere * all'inizio e alla fine della password, oppure finire una password con un 1, quindi non sono solo le transizioni che contano, ma anche la loro posizione.

— Marcin,

ok, non ho pensato a quel caso, sei sicuro che Markov Chain sia il modo migliore per fare quello che vuoi fare? Se la pensi così, quali sono i tuoi stati (ogni personaggio è uno stato)? E come pensi di calcolare la transizione? Come pensi di usare la catena markov?

— Mickaël S

1

la funzione markovchainFit dal pacchetto markovchain risolve il problema.

— Giorgio Spedicato
fonte