Date due catene assorbenti di Markov, qual è la probabilità che una si interrompa prima dell'altra?

Ho due diverse catene di Markov, ognuna con uno stato assorbente e una posizione iniziale nota. Voglio determinare la probabilità che la catena 1 raggiunga uno stato di assorbimento in meno passaggi rispetto alla catena 2.

Penso di poter calcolare la probabilità di raggiungere uno stato assorbente in una particolare catena dopo n passaggi: data una matrice di transizione $P$ la probabilità di essere assorbito dopo $n$ passaggi è $P^n_{ij}$ dove $i$ è lo stato iniziale e $j$ è lo stato assorbente .

Non sono sicuro di dove andare da qui però. Problemi analoghi che ho visto coinvolgono dadi (ad esempio, tirare una somma di 7 prima di una somma di 8), ma è più facile da risolvere perché la probabilità di ottenere una somma particolare è costante e indipendente dal numero di passi compiuti finora.

probability markov-chain transition-matrix

— Jeff
fonte

Esegui le catene in parallelo. Definire tre stati di assorbimento nella catena di prodotti risultante:

La prima catena raggiunge uno stato di assorbimento, ma la seconda no.
La seconda catena raggiunge uno stato di assorbimento, ma la prima no.
Entrambe le catene raggiungono contemporaneamente uno stato assorbente.

Le probabilità limitanti di questi tre stati nella catena del prodotto danno le possibilità di interesse.

Questa soluzione prevede alcune (semplici) costruzioni. Come in questione, lasciate una matrice di transizione per una catena . Quando la catena è nello stato , dà la probabilità di una transizione allo stato . Uno stato assorbente fa una transizione verso se stesso con probabilità . $\mathbb{P} = P_{ij}, 1 \le i,j\le n$ $\mathcal P$ $i$ $P_{ij}$ $j$ $1$

Qualsiasi stato può essere assorbito dopo aver sostituito la riga con un vettore indicatore con in posizione . $i$ $\mathbb{P}_{i} = (P_{ij}, j=1, 2, \ldots,n)$ $(0,0,\ldots,0,1,0,\ldots,0)$ $1$ $i$
Qualsiasi insieme di stati assorbenti può essere unito creando una nuova catena cui stati sono $A$ $\mathcal{P}/A$ . La matrice di transizione è data da $\{i\,|\, i\notin A\}\cup \{A\}$

$(P / UN)_{io j} = \begin{array}{ll} {\begin{cases} P_{io j} & io \notin UN, j \notin UN \\ \underset{K \in UN}{Σ} P_{io K} & io \notin UN, j = UN \\ 0 & io = UN, j \notin UN \\ 1 & io = j = UN . \end{cases} \end{array}$ $(\mathbb{P}/A)_{ij} = \begin{array}{ll} \left\{ \begin{array}{ll} P_{ij} & i \notin A,\, j \notin A\\ \sum_{k\in A} P_{ik} & i\notin A, j=A \\ 0 & i=A, j\notin A \\ 1 & i = j = A. \end{array}\right. \end{array}$
Ciò equivale a sommare le colonne di corrispondenti ad e sostituire le righe corrispondono ad con una singola riga che fa una transizione verso se stessa. $\mathbb{P}$ $A$ $A$
Il prodotto di due catene sugli stati e sugli stati , con matrici di transizione e , rispettivamente, è una catena di Markov sugli stati $\mathcal{P}$ $S_P$ $\mathcal{Q}$ $S_Q$ $\mathbb{P}$ $\mathbb{Q}$ con matrice di transizione $S_P\times S_Q = \{(p,q)\,|\, p\in S_P, q\in S_Q\}$

$(P \otimes Q)_{(io, j), (K, l)} = P_{io K} Q_{j l} .$ $(\mathbb{P} \otimes \mathbb{Q})_{(i,j),(k,l)} = P_{ik}Q_{jl}.$
In effetti, la catena di prodotti gestisce le due catene in parallelo, localizzando separatamente dove ciascuna è e effettuando le transizioni in modo indipendente.

Un semplice esempio può chiarire queste costruzioni. Supponiamo che Polly stia lanciando una moneta con una probabilità di teste di atterraggio. Ha in programma di farlo fino ad osservare una testa. Gli stati per il processo di lancio della moneta sono rappresentano i risultati del lancio più recente: per le code, per le teste. Progettando di fermarsi alla testa, Polly applicherà la prima costruzione rendendo uno stato assorbente. La matrice di transizione risultante è $p$ $S_P = \{\text{T},\text{H}\}$ $\text{T}$ $\text{H}$ $\text H$

P = (\begin{matrix} 1 - p & p \\ 0 & 1 \end{matrix}) .

$\mathbb{P} = \pmatrix{1-p & p \\ 0 & 1}.$

Inizia in uno stato casuale dato dal primo lancio. $(1-p,p)$

A tempo con Polly, Quincy lancerà una moneta giusta. Ha intenzione di fermarsi quando vede due teste di fila. La sua catena Markov deve quindi tenere traccia sia del risultato precedente che di quello attuale. Esistono quattro combinazioni del genere di due teste e due code, che abbrevierò come " ", ad esempio, in cui la prima lettera è il risultato precedente e la seconda lettera è il risultato corrente . Quincy applica la costruzione (1) per rendere uno stato assorbente. Dopo averlo fatto, si rende conto che non ha davvero bisogno di quattro stati: può semplificare la sua catena in tre stati: significa che il risultato corrente è croce, significa che il risultato corrente è testa e $\text{TH}$ $\text{HH}$ $\text{T}$ $\text{H}$ $\text{X}$ significa che gli ultimi due risultati sono stati entrambi i capi - questo è lo stato assorbente. La matrice di transizione è

Q = (\begin{matrix} \frac{1}{2} & \frac{1}{2} & 0 \\ \frac{1}{2} & 0 & \frac{1}{2} \\ 0 & 0 & 1 \end{matrix}) .

$\mathbb{Q} = \pmatrix{\frac{1}{2} & \frac{1}{2} & 0 \\ \frac{1}{2} & 0 & \frac{1}{2} \\ 0 & 0 & 1}.$

La catena di prodotti funziona su sei stati: . La matrice di transizione è un prodotto tensore di e ed è altrettanto facilmente calcolabile. Ad esempio, $(T,T), (T,H), (T,X); (H,T), (H,H), (H,X)$ $\mathbb{P}$ $\mathbb{Q}$ è la probabilità che Polly effettua una transizione daae, allo stesso tempo (e indipendente), Quincy effettua una transizione daa. Il primo ha una probabilità die la possibilità di quest'ultimo. Poiché le catene sono gestite in modo indipendente, queste possibilità si moltiplicano, dando. La matrice di transizione completa è $(\mathbb{P}\otimes\mathbb{Q})_{(T,T),(T,H)}$ $\text T$ $\text T$ $\text T$ $\text H$ $1-p$ $1/2$ $(1-p)/2$

P \otimes Q = (\begin{matrix} \frac{1 - p}{2} & \frac{1 - p}{2} & 0 & \frac{p}{2} & \frac{p}{2} & 0 \\ \frac{1 - p}{2} & 0 & \frac{1 - p}{2} & \frac{p}{2} & 0 & \frac{p}{2} \\ 0 & 0 & 1 - p & 0 & 0 & p \\ 0 & 0 & 0 & \frac{1}{2} & \frac{1}{2} & 0 \\ 0 & 0 & 0 & \frac{1}{2} & 0 & \frac{1}{2} \\ 0 & 0 & 0 & 0 & 0 & 1 \end{matrix}) .

$\mathbb{P}\otimes\mathbb{Q} = \pmatrix{ \frac{1-p}{2} & \frac{1-p}{2} & 0 & \frac{p}{2} & \frac{p}{2} & 0 \\ \frac{1-p}{2} & 0 & \frac{1-p}{2} & \frac{p}{2} & 0 & \frac{p}{2} \\ 0 & 0 & 1-p & 0 & 0 & p \\ 0 & 0 & 0 & \frac{1}{2} & \frac{1}{2} & 0 \\ 0 & 0 & 0 & \frac{1}{2} & 0 & \frac{1}{2} \\ 0 & 0 & 0 & 0 & 0 & 1 }.$

È in forma di matrice a blocchi con blocchi corrispondenti alla seconda matrice : $\mathbb Q$

P \otimes Q = (\begin{matrix} P_{11} Q & P_{12} Q \\ P_{21} Q & P_{22} Q \end{matrix}) = (\begin{matrix} (1 - p) Q & p Q \\ 0 & Q \end{matrix}) .

$\mathbb{P}\otimes\mathbb{Q} = \pmatrix{ P_{11}\mathbb Q & P_{12}\mathbb Q \\ P_{21}\mathbb Q & P_{22}\mathbb Q } = \pmatrix{ (1-p)\mathbb Q & p\mathbb Q \\ \mathbb 0 & \mathbb Q }.$

Polly e Quincy competono per vedere chi raggiungerà per primo il loro obiettivo. Il vincitore sarà Polly ogni volta che viene effettuata una transizione a dove non è ; il vincitore sarà Quincy ogni volta che viene effettuata una transizione a ; e se prima che uno di questi può accadere viene effettuata una transizione a , il risultato sarà un pareggio. Per tenere traccia, faremo gli stati e $(\text{H},\text{*})$ $\text{*}$ $\text X$ $(\text{T},\text{X})$ $(\text{H},\text{X})$ $(\text{H},\text{T})$ $(\text{H},\text{H})$ entrambi assorbono (tramite costruzione (1)) e poi li uniscono (tramite costruzione (2)). La matrice di transizione risultante, ordinata dagli stati è $(T,T), (T,H), (T,X), \{(H,T), (H,H)\}, (H,X)$

R = (\begin{matrix} \frac{1 - p}{2} & \frac{1 - p}{2} & 0 & p & 0 \\ \frac{1 - p}{2} & 0 & \frac{1 - p}{2} & \frac{p}{2} & \frac{p}{2} \\ 0 & 0 & 1 & 0 & 0 \\ 0 & 0 & 0 & 1 & 0 \\ 0 & 0 & 0 & 0 & 1 \end{matrix}) .

$\mathbb{R} = \pmatrix{ \frac{1-p}{2} & \frac{1-p}{2} & 0 & p & 0 \\ \frac{1-p}{2} & 0 & \frac{1-p}{2} & \frac{p}{2} & \frac{p}{2} \\ 0 & 0 & 1 & 0 & 0 \\ 0 & 0 & 0 & 1 & 0 \\ 0 & 0 & 0 & 0 & 1 }.$

$(T,T), (T,H), (T,X), \{(H,T), (H,H)\}, (H,X)$ $\mu = ((1-p)/2, (1-p)/2, 0, p, 0)$

$n\to \infty$

μ \cdot R^{n} \to \frac{1}{1 + 4 p - p^{2}} (0, 0, (1 - p)^{2}, p (5 - p), p (1 - p)) .

$\mu \cdot \mathbb{R}^n \to \frac{1}{1+4p-p^2}(0, 0, (1-p)^2, p(5-p), p(1-p)).$

$(T,X), \{(H,T), (H,H)\}, (H,X)$ $(1-p)^2:p(5-p):p(1-p)$

figura

$p$

— whuber
fonte

Esempio molto pulito, grazie per questo. Sto ancora elaborando i dettagli per vederli di persona. Solo una domanda: qui abbiamo ipotizzato che i due eventi (i tiri di Polly e Quincy) si stessero verificando simultaneamente, che differenza farebbe se li rendessimo sequenziali, o addirittura scegliamo a caso ogni volta chi lancerebbe il prossimo?

— user929304

@ user929304 Si otterrebbero risposte diverse, possibilmente sostanzialmente. Ad esempio, supponiamo che P e Q stiano eseguendo una catena in cui gli stati sono suddivisi in sottoinsiemi A e B in cui tutte le transizioni da A vanno a B e tutte da B vanno ad A. Sia P che Q inizino entrambi agli stati in A. In la catena di prodotti si alternano simultaneamente tra A e B, ma le catene sequenziali e a scelta casuale interrompono quel modello invariante.

— whuber