Come vedi che una catena di Markov è irriducibile?

12

Ho qualche problema a capire la proprietà irriducibile della catena Markov .

Si dice che irriducibile significhi che il processo stocastico può "passare da qualsiasi stato a qualsiasi stato".

Ma cosa definisce se può passare dallo stato allo stato , oppure non può andare? $i$ $j$

La pagina di Wikipedia fornisce la formalizzazione:

Lo stato è accessibile (scritto ) dallo stato , se esiste un numero intero st $j$ $i\rightarrow j$ $i$ $n_{ij}>0$

P (X_{n_{i j}} = j | X_{0} = i) = p_{i j}^{(n_{i j})} > 0

$P(X_{n_{ij}}=j\space |\space X_0=i)=p_{ij}^{(n_{ij})} >0$

allora la comunicazione è se e . $i\rightarrow j$ $j \rightarrow i$

Da queste irriducibilità segue in qualche modo.

stochastic-processes markov-process

— mavavilj
fonte

Qual è l'intuizione di "accessibilità"? Non capisco perché avere una probabilità condizionata renda qualcosa "accessibile"?

— mavavilj,

Puoi guardare dal punto di inaccessibilità . Si dice che lo stato

è inaccessibile da

se non vi è alcuna possibilità di arrivarci da

, cioè per un numero qualsiasi di passi

la probabilità di questo evento rimane

. Per rendere la definizione di accessibilità si dovrebbero cambiare i quantori, cioè da

a

e

a

(che è lo stesso di

, poiché la probabilità è positiva).

j

$j$

i

$i$

i

$i$

n

$n$

0

$0$

\forall

$\forall$

\exists

$\exists$

= 0

$=0$

\neq 0

$\neq 0$

> 0

$>0$

— nmerci,

12

Ecco tre esempi di matrici di transizione, i primi due per il caso riducibile, l'ultimo per quello irriducibile.

\begin{array}{rcl} P_{1} & = & (\begin{array}{cccc} 0.5 & 0.5 & 0 & 0 \\ 0.9 & 0.1 & 0 & 0 \\ 0 & 0 & 0.2 & 0.8 \\ 0 & 0 & 0.7 & 0.3 \end{array}) \\ P_{2} & = & (\begin{array}{cccc} 0.1 & 0.1 & 0.4 & 0.4 \\ 0.5 & 0.1 & 0.1 & 0.3 \\ 0.2 & 0.4 & 0.2 & 0.2 \\ 0 & 0 & 0 & 1 \end{array}) \end{array}

$\begin{eqnarray*} P_1 &=& \left( \begin{array}{cccc} 0.5 & 0.5 & 0 & 0 \\ 0.9 & 0.1 & 0 & 0 \\ 0 & 0 & 0.2 & 0.8 \\ 0 & 0 & 0.7 & 0.3 \end{array} \right) \\\\ P_2 &=& \left( \begin{array}{cccc} 0.1 & 0.1 & 0.4 & 0.4 \\ 0.5 & 0.1 & 0.1 & 0.3 \\ 0.2 & 0.4 & 0.2 & 0.2 \\ 0 & 0 & 0 & 1% \end{array} \right) \end{eqnarray*}$

P_{1}

$P_1$

$P_2$

P_{3} = (\begin{array}{cccccc} 0.5 & 0.5 & 0 & 0 & 0 & 0 \\ 0.9 & 0 & 0 & 0 & 0 & 0.1 \\ 0 & 0 & 0 & 0.8 & 0 & 0.2 \\ 0.7 & 0 & 0.1 & 0 & 0.2 & 0 \\ 0 & 0 & 0 & 0.1 & 0.9 & 0 \\ 0.9 & 0 & 0 & 0 & 0.1 & 0 \end{array})

$P_3=\left( \begin{array}{cccccc} 0.5 & 0.5 & 0 & 0 & 0 & 0 \\ 0.9 & 0 & 0 & 0 & 0 & 0.1 \\ 0 & 0 & 0 & 0.8 & 0 & 0.2 \\ 0.7 & 0 & 0.1 & 0 & 0.2 & 0 \\ 0 & 0 & 0 & 0.1 & 0.9 & 0 \\ 0.9 & 0 & 0 & 0 & 0.1 & 0% \end{array} \right)$ Per questo esempio, puoi iniziare in qualsiasi stato e puoi comunque raggiungere qualsiasi altro stato, anche se non necessariamente in un solo passaggio.

— Christoph Hanck
fonte

5

$j$ $i$ $i \to j$ $n\geq 0$

p_{i j}^{n} = P (X_{n} = j ∣ X_{0} = i) > 0

$p^n_{ij}=\mathbb P(X_n=j\mid X_0=i) > 0$

i

$i$

j

$j$

n

$n$

p_{i j}^{n}

$p^n_{ij}$

$i\to j$ $j\to i$ $i$ $j$ $i\leftrightarrow j$

— nmerci
fonte

n

$n$

p_{i j}^{n}

$p_{ij}^n$

P = (p_{i j})

$\mathbf P=(p_{ij})$

p_{i j}^{n}

$p_{ij}^n$

i j

$ij$

P^{n}

$\mathbf P^n$

n

$n$

2

$i$ $j$ $i$ $j$ $\cdots$ $j$ $i$

$i\rightarrow j$ $j$ $i$ $m>0$ $p_{ij}^{(m)}>0$

$j\rightarrow i$ $n>0$ $p_{ji}^{(n)}>0$

$i\rightarrow j$ $j\rightarrow i$ $i$ $j$ $i \leftrightarrow j$ $m>0,\;\; n>0$ $p_{ij}^{(m)}>0$ $p_{ji}^{(n)}>0$

Se tutti gli stati della catena di Markov appartengono a una classe di comunicazione chiusa , la catena viene chiamata catena di Markov irriducibile . L'irriducibilità è una proprietà della catena.

In una catena irriducibile di Markov, il processo può andare da qualsiasi stato a qualsiasi stato , qualunque sia il numero di passaggi richiesti.

— LVRao
fonte

1

Alcune delle risposte esistenti mi sembrano errate.

Come citato in Processi stocastici da J. Medhi (pagina 79, edizione 4), una catena di Markov è irriducibile se non contiene un sottoinsieme proprio "chiuso" diverso dallo spazio degli stati.

Quindi, se nella tua matrice di probabilità di transizione, c'è un sottoinsieme di stati tali che non puoi "raggiungere" (o accedere) a nessun altro stato a parte questi stati, allora la catena di Markov è riducibile. Altrimenti la catena Markov è irriducibile.

— Cosmico
fonte

-1

Prima una parola di avvertimento: non guardare mai una matrice a meno che tu non abbia una ragione seria per farlo: l'unica a cui riesco a pensare è la ricerca di cifre digitate per errore o la lettura di un libro di testo.

$P$ $\exp(P)$ $P$ $P^n$ $n$

Irriducibilità significa: puoi passare da qualsiasi stato a qualsiasi altro stato in un numero finito di passaggi.

$P_3$

— Titus
fonte

1

i

$i$

j

$j$

1

Devi davvero chiedere al tuo insegnante. Non ti mangerà, lo sai.

— Tito

e^{P_{i j}}

$e^{P_{ij}}$

Mi riferisco alla matrice esponenziale

— titus