Controlla la proprietà senza memoria di una catena Markov

17

Sospetto che una serie di sequenze osservate siano una catena di Markov ...

X = (\begin{array}{ccccccc} A & C & D & D & B & A & C \\ B & A & A & C & A & D & A \\ ⋮ & ⋮ & ⋮ & ⋮ & ⋮ & ⋮ & ⋮ \\ B & C & A & D & A & B & E \end{array})

$X=\left(\begin{array}{c c c c c c c} A& C& D&D & B & A &C\\ B& A& A&C & A&D &A\\ \vdots&\vdots&\vdots&\vdots&\vdots&\vdots&\vdots\\ B& C& A&D & A & B & E\\ \end{array}\right)$

Tuttavia, come posso verificare che rispettino effettivamente la proprietà senza memoria di

P (X_{i} = x_{i} | X_{j} = x_{j}) ?

$P(X_i=x_i|X_j=x_j)?$

O almeno dimostrare che sono Markov in natura? Nota che queste sono sequenze osservate empiricamente. qualche idea?

MODIFICARE

Solo per aggiungere, l'obiettivo è quello di confrontare una serie prevista di sequenza da quelle osservate. Quindi apprezzeremmo i commenti sul modo migliore per confrontarli.

Matrice di transizione del primo ordine

M_{i j} = \frac{x_{i} j}{\sum^{m} x_{i k}}

$M_{ij}=\displaystyle \frac{x_ij}{\sum^mx_{ik}}$ dove m = A..E indica

M = (\begin{array}{ccccccc} 0.1834 & 0.3077 & 0.0769 & 0.1479 & 0.2840 \\ 0.4697 & 0.1136 & 0.0076 & 0.2500 & 0.1591 \\ 0.1827 & 0.2404 & 0.2212 & 0.1923 & 0.1635 \\ 0.2378 & 0.1818 & 0.0629 & 0.3357 & 0.1818 \\ 0.2458 & 0.1788 & 0.1173 & 0.1788 & 0.2793 \end{array})

$M=\left(\begin{array}{c c c c c c c} 0.1834& 0.3077 & 0.0769& 0.1479 & 0.2840\\ 0.4697& 0.1136 & 0.0076 & 0.2500 & 0.1591\\ 0.1827& 0.2404& 0.2212 & 0.1923 & 0.1635\\ 0.2378 & 0.1818& 0.0629& 0.3357 & 0.1818\\ 0.2458 & 0.1788& 0.1173 & 0.1788 & 0.2793\end{array}\right)$

Autovalori di M

E = (\begin{array}{ccccccc} 1.0000 & 0 & 0 & 0 & 0 \\ 0 & - 0.2283 & 0 & 0 & 0 \\ 0 & 0 & 0.1344 & 0 & 0 \\ 0 & 0 & 0 & 0.1136 - 0.0430 i & 0 \\ 0 & 0 & 0 & 0 & 0.1136 + 0.0430 i \end{array})

$E =\left(\begin{array}{c c c c c c c} 1.0000 & 0 & 0 & 0 & 0 \\ 0 & -0.2283 & 0 & 0 & 0 \\ 0 & 0 & 0.1344 & 0 & 0\\ 0 & 0 & 0 & 0.1136 - 0.0430i & 0 \\ 0 & 0 & 0 & 0 & 0.1136 + 0.0430i\\ \end{array}\right)$

Autovettori di M

V = (\begin{array}{ccccccc} 0.4472 & - 0.5852 & - 0.4219 & - 0.2343 - 0.0421 i & - 0.2343 + 0.0421 i \\ 0.4472 & 0.7838 & - 0.4211 & - 0.4479 - 0.2723 i & - 0.4479 + 0.2723 i \\ 0.4472 & - 0.2006 & 0.3725 & 0.6323 & 0.6323 \\ 0.4472 & - 0.0010 & 0.7089 & 0.2123 - 0.0908 i & 0.2123 + 0.0908 i \\ 0.4472 & 0.0540 & 0.0589 & 0.2546 + 0.3881 i & 0.2546 - 0.3881 i \end{array})

$V =\left(\begin{array}{c c c c c c c} 0.4472& -0.5852 & -0.4219 & -0.2343 - 0.0421i & -0.2343 + 0.0421i\\ 0.4472 & 0.7838 & -0.4211 & -0.4479 - 0.2723i & -0.4479 + 0.2723i\\ 0.4472 & -0.2006 & 0.3725 & 0.6323 & 0.6323 \\ 0.4472 & -0.0010 & 0.7089 & 0.2123 - 0.0908i & 0.2123 + 0.0908i\\ 0.4472 & 0.0540 & 0.0589 & 0.2546 + 0.3881i & 0.2546 - 0.3881i\\ \end{array}\right)$

markov-process

— HCAI
fonte

Le colonne contengono le serie e le righe gli elementi delle sequenze? Qual è il numero osservato di righe e colonne?

— mpiktas,

2

Possibile duplicato: stats.stackexchange.com/questions/29490/…

— mpiktas,

@mpiktas Le righe rappresentano le sequenze osservate indipendenti di transizioni attraverso gli stati AD. Ci sono circa 400 sequenze ... Ricorda che le sequenze osservate non sono tutte della stessa lunghezza. In effetti, la matrice di cui sopra in molti casi è aumentata dagli zeri. Grazie per il collegamento tra l'altro. Sembra che ci sia ancora un notevole spazio di lavoro in questo campo. Hai altri pensieri? Saluti,

— HCAI

1

La regressione lineare è stata un esempio per rafforzare il punto della mia tesi. Vale a dire che potrebbe non essere necessario testare direttamente la proprietà Markov, è necessario solo installare un modem che presupponga la proprietà Markov e quindi verificare la validità del modello.

— mpiktas,

1

Ricordo vagamente di aver visto da qualche parte un test di ipotesi per H0 = {Markov} vs H1 = {Markov order 2}. Questo potrebbe aiutare.

— Stéphane Laurent,

5

Mi chiedo se quanto segue darebbe un test Pearson valido per le proporzioni come segue. $\chi^2$

Stimare le probabilità di transizione in un passaggio - l'hai fatto.
Ottieni le probabilità del modello in due passaggi: ${\hat{p}}_{U, V} = P r o b [X_{i + 2} = U | X_{i} = V] = \sum_{W \in {A, B, C, D}} P r o b [X_{i + 2} = U | X_{i + 1} = W] P r o b [X_{i + 1} = W | X_{i} = V]$ $\hat p_{U,V} = {\rm Prob}[X_{i+2}=U|X_i=V] = \sum_{W\in\{A,B,C,D\}} {\rm Prob}[X_{i+2}=U|X_{i+1}=W]{\rm Prob}[X_{i+1}=W|X_i=V]$
Ottieni le probabilità empiriche in due fasi ${\tilde{p}}_{U, V} = \frac{\sum_{i} # X_{i} = V, X_{i + 2} = U}{\sum_{i} # X_{i} = V}$ $\tilde p_{U,V} = \frac{\sum_i \# X_i = V, X_{i+2} = U}{\sum_i \# X_i = V}$
Modulo di Pearson statistica test $T_{V} = # {X_{i} = V} \sum_{U} \frac{({\hat{p}}_{U, V} - {\tilde{p}}_{U, V})^{2}}{{\hat{p}}_{U, V}}, T = T_{A} + T_{B} + T_{C} + T_{D}$ $T_V = \# \{X_i = V\} \sum_U \frac{(\hat p_{U,V} - \tilde p_{U,V})^2}{\hat p_{U,V}}, \quad T=T_A + T_B + T_C + T_D$

E ' forte la tentazione per me pensare che ogni , in modo che il totale . Tuttavia, non ne sono del tutto sicuro, e apprezzerei i tuoi pensieri su questo. Io non sono allo stesso modo non co sertain circa se si ha la necessità di essere paranoico circa l'indipendenza, e vorrei dividere il campione in due metà per stimare e . $T_U \sim \chi^2_3$ $T\sim \chi^2_{12}$ $\hat p$ $\bar p$

— Stask
fonte

Le probabilità non devono avere una distribuzione normale con media 0 e varianza = 1 perché questa sia valida? Sarei molto interessato a sapere cosa ne pensa qualcuno qui.

— HCAI,

Questo è ciò che dovrebbero essere i termini della somma, asintoticamente con grandi conteggi.

— StasK,

6

La proprietà Markov potrebbe essere difficile da testare direttamente. Ma potrebbe essere sufficiente adattare un modello che assume la proprietà Markov e quindi verificare se il modello è valido. Si può scoprire che il modello montato è una buona approssimazione che è utile per te in pratica, e non devi preoccuparti se la proprietà Markov è davvero valida o meno.

Il parallelo può essere disegnato alla regressione lineare. La pratica abituale non è verificare se la linearità è valida, ma se il modello lineare è un'approssimazione utile.

— mpiktas
fonte

Questa sembra la migliore opzione nella realtà, solo che in realtà non posso confrontare un modello lineare con nessun dato sperimentale reale. O avevi in mente qualcos'altro?

— HCAI

6

Per concretizzare il suggerimento della risposta precedente, è innanzitutto necessario stimare le probabilità di Markov, supponendo che sia Markov. Vedere la risposta qui Stima delle probabilità della catena di Markov

Si dovrebbe ottenere una matrice 4 x 4 sulla base della percentuale di transizioni dallo stato A ad A, da A a B, ecc Chiama questa matrice . dovrebbe quindi essere la matrice di transizione in due passaggi: da A ad A in 2 passaggi e così via. È quindi possibile verificare se la matrice di transizione a 2 passaggi osservata è simile a . $M$ $M^2$ $M^2$

Dato che disponi di molti dati per il numero di stati, puoi stimare da una metà dei dati e testare usando l'altra metà: stai testando le frequenze osservate rispetto alle probabilità teoriche di un multinomiale. Questo dovrebbe darti un'idea di quanto sei lontano. $M$ $M^2$

Un'altra possibilità sarebbe vedere se le proporzioni dello stato di base: tempo proporzionale trascorso in A, tempo trascorso in B, corrisponda all'autovettore dell'unità autovalore di M. Se la tua serie ha raggiunto una sorta di stato stazionario, la proporzione di tempo in ciascuna lo stato dovrebbe tendere a quel limite.

— Placidia
fonte

C'è un po 'da prendere lì. Ho calcolato la matrice di transizione

, ma non sono sicuro di come calcolerai empiricamente

. Potresti chiarire questo punto? Saluti,

M

$M$

M^{2}

$M^2$

— HCAI

Inoltre, quest'ultimo commento è molto interessante, anche se non ho il tempo trascorso in ogni stato delle mie sequenze osservate. Ho solo il tempo totale per ogni riga. In modo che ciò possa limitare l'applicabilità di tale metodo. Quali sono i tuoi pensieri?

— HCAI,

1

Fallo nello stesso modo in cui hai fatto M, solo invece di guardare le transizioni vicine più vicine, (diciamo, sequenze AB), guarda le coppie che sono 2 a parte. Quindi, se un soggetto diventa ACB, ciò conta ai fini del conteggio delle transizioni AB. Anche ABB. Crea una matrice in cui l'elemento nella riga i, colonna j contiene le transizioni da i a j. Quindi dividi per i totali della colonna. Desideri che le colonne si sommino a 1. Sotto la proprietà Markov, questa matrice dovrebbe essere vicina a

M^{2}

$M^2$

— Placidia,

RE: equilibrio. Stavo supponendo che le transizioni si verifichino in determinati momenti - diciamo ogni secondo, si passa dallo stato corrente allo stato successivo. È possibile prendere la frequenza degli stati A, B, C e D vicino alle estremità delle sequenze o tra sequenze per stimare il comportamento limite.

— Placidia,

In R, se fai autovelox (M), dovresti ottenere gli autovalori e gli autovettori di M. Un autovalore sarà 1. L'autovettore corrispondente dovrebbe essere proporzionale alle proporzioni dello stato stazionario .... se Markov.

— Placidia,

2

Oltre alla proprietà Markov (MP), un'ulteriore proprietà è l' omogeneità temporale (TH): può essere Markov ma con la sua matrice di transizione seconda del tempo . Ad esempio, esso può dipendere dal giorno della settimana in se osservazioni sono giornalmente, e quindi una dipendenza on condizionato può essere diagnosticato se TH è indebitamente assunto. $X_t$ $\mathbf{P}(t)$ $t$ $t$ $X_t$ $X_{t-7}$ $X_{t-1}$

Supponendo che TH sia valido, un possibile controllo per MP sta verificando che sia indipendente da base a , come suggerivano Michael Chernick e StasK. Questo può essere fatto utilizzando un test per la tabella di contingenza. Possiamo costruire le tabelle di contingenza di e base a per gli valori possibili $X_t$ $X_{t-2}$ $X_{t-1}$ $n$ $X_t$ $X_{t-2}$ $\{X_{t-1} = x_j\}$ $n$ $x_j$ e testare l'indipendenza. Questo può essere fatto anche usando con al posto di . $X_{t-\ell}$ $\ell > 1$ $X_{t-2}$

In R, tabelle di contingenza o array sono prodotti agevolmente grazie al fattore facilità e le funzioni apply, sweep. L'idea sopra può anche essere sfruttata graficamente. I pacchetti ggplot2 o reticolo forniscono facilmente grafici condizionali per confrontare le distribuzioni condizionali . Ad esempio, impostando come indice di riga e $p(X_t \vert X_{t-1}=x_j, X_{t-2} = x_i)$ $i$ $j$ poiché l'indice di colonna nel traliccio dovrebbe condurre a MP in distribuzioni simili all'interno di una colonna.

Il cap. 5 del libro L'analisi statistica dei processi stocastici nel tempo di JK Lindsey contiene altre idee per verificare i presupposti.

enter image description here

[## simulates a MC with transition matrix in 'trans', starting from 'ini'
simMC <- function(trans, ini = 1, N) {
  X <- rep(NA, N)
  Pcum <- t(apply(trans, 1, cumsum))
  X[1] <- ini 
  for (t in 2:N) {
    U <- runif(1)
    X[t] <- findInterval(U, Pcum[X[t-1], ]) + 1
  }
  X
}
set.seed(1234)
## transition matrix
P <- matrix(c(0.1, 0.1, 0.1, 0.7,
              0.1, 0.1, 0.6, 0.2,
              0.1, 0.3, 0.2, 0.4,
              0.2, 0.2, 0.3, 0.3),
            nrow = 4, ncol = 4, byrow = TRUE)
N <- 2000
X <- simMC(trans = P, ini = 1, N = N)
## it is better to work with factors
X <- as.factor(X)
levels(X) <- LETTERS[1:4]
## table transitions and normalize each row
Phat <- table(X[1:(N-1)], X[2:N])
Phat <- sweep(x = Phat, MARGIN = 1, STATS = apply(Phat, 1, sum), FUN = "/")
## explicit dimnames
dimnames(Phat) <- lapply(list("X(t-1)=" ,"X(t)="),
                         paste, sep = "", levels(as.factor(X)))
## transition 3-fold contingency array
P3 <- table(X[1:(N-2)], X[2:(N-1)], X[3:N])
dimnames(P3) <- lapply(list("X(t-2)=", "X(t-1)=" ,"X(t)="),
                       paste, sep = "", levels(as.factor(X)))
## apply ONE indendence test 
fisher.test(P3[ , 1, ], simulate.p.value = TRUE)
## plot conditional distr.
library(lattice)
X3 <- data.frame(X = X[3:N], lag1X =  X[2:(N-1)], lag2X = X[1:(N-2)])
histogram( ~ X | lag1X + lag2X, data = X3, col = "SteelBlue3")

]

— Yves
fonte

2

Penso che placida e mpiktas abbiano entrambi dato approcci molto ponderati ed eccellenti.

$P(X_i=x|X_{i-1}=y)$ $P(X_i=x|X_{i-1}=y \text{ and } X_{i-2}=z)$

$x$ $y$ $z$ $z$ $y$ $x$ $z$ $y$ $x$ $x$ $y$ $x$ $x$

Quindi la statistica del test sarebbe la differenza tra queste proporzioni stimate. La complicazione del confronto standard delle sequenze di Bernoulli è che sono correlate. Ma potresti fare un test bootstrap di proporzioni binomiali in questo caso.

$0$ $1$ $(0,0)$ $(0,1)$ $(1,0)$ $(1,1)$

— Michael R. Chernick
fonte

Vedo a cosa ti riferisci qui, anche se sto trovando il primo paragrafo molto conciso. Ad esempio "Calcola le stime del campione [...], quindi verifica la differenza nelle proporzioni". Cosa intendi con stime di esempio? Sicuramente non ci sarebbe alcuna variazione

P (X_{io} | X_{io - 1} = y)

$P(X_i|X_{i-1}=y)$ o sto fraintendendo il tuo treno di pensieri?

— HCAI,

@user1134241 You mentioned "empirically observed", I assumed that you have data from this stochastic sequence. If you want to estimate P(X

_{i}

$_i$ =x|X

_{i}

$_i$

_{-}

$_-$

_{1}

$_1$ =y) for each index i-1 where X

_{i}

$_i$

_{-}

$_-$

_{1}

$_1$ =y, count the number of times X

_{i}

$_i$ = x and divide it by the number of times X

_{i}

$_i$

_{-}

$_-$

_{1}

$_1$ = y (regardless of what X

_{i}

$_i$ equals). That is an estimate because the observed finite sequence is just a sample of a portion of a sequence of the stochastic process.

— Michael R. Chernick

In your last paragraph, let me ask what constitute a success and exactly? In the case where you say a two-step transition: are you saying

i \to j \to i

$i\rightarrow j\rightarrow i$ and a 3-step would be

i \to j \to k \to i

$i\rightarrow j\rightarrow k\rightarrow i$ ?

— HCAI

1

You could bin the data into evenly spaced intervals, then compute the unbiased sample variances of subsets $\{X_{n+1}:X_n=x_1,X_{n-k}=x_2\}$ . By the law of total variance,

V a r [E (X_{n + 1} | X_{n}, X_{n - k}) | X_{n}] = V a r [X_{n + 1} | X_{n}] - E (V a r [X_{n + 1} | X_{n}])

$\mathrm{Var}[E(X_{n+1}|X_n,X_{n-k})|X_n] = \mathrm{Var}[X_{n+1}|X_n]-E(\mathrm{Var}[X_{n+1}|X_n])$

The LHS, if it is almost zero, provides evidence that the transition probabilities do not depend on $X_{n-k}$ , though it is clearly a weaker statement: e.g., let $X_{n+1}\sim N(X_n,X_{n-1})$ . Taking the expected value of both sides of the above equation, the RHS can be computed from the sample variances (i.e., replacing expected values with averages). If the expected value of the variance is zero then the variance is 0 almost always.

— Luke O'Connor
fonte