Esegui le catene in parallelo. Definire tre stati di assorbimento nella catena di prodotti risultante:
La prima catena raggiunge uno stato di assorbimento, ma la seconda no.
La seconda catena raggiunge uno stato di assorbimento, ma la prima no.
Entrambe le catene raggiungono contemporaneamente uno stato assorbente.
Le probabilità limitanti di questi tre stati nella catena del prodotto danno le possibilità di interesse.
Questa soluzione prevede alcune (semplici) costruzioni. Come in questione, lasciate una matrice di transizione per una catena P . Quando la catena è nello stato i , P i j dà la probabilità di una transizione allo stato j . Uno stato assorbente fa una transizione verso se stesso con probabilità 1 .P=Pij,1≤i,j≤nPiPijj1
- Qualsiasi stato può essere assorbito dopo aver sostituito la riga P i = ( P i j , j = 1 , 2 , ... , n ) con un vettore indicatore ( 0 , 0 , ... , 0 , 1 , 0 , ... , 0 ) con 1 in posizione i .iPi=(Pij,j=1,2,…,n)(0,0,…,0,1,0,…,0)1i
Qualsiasi insieme di stati assorbenti può essere unito creando una nuova catena P / A i cui stati sono { iAP/A . La matrice di transizione è data da{ i|io ∉ A } ∪ { A }
( P / A )io j= ⎧⎩⎨⎪⎪⎪⎪⎪⎪⎪⎪Pio jΣk ∈ APi k01io ∉ A ,j ∉ Ai ∉ A , j = Ai = A , j ∉ Ai = j = A .
Ciò equivale a sommare le colonne di corrispondenti ad A e sostituire le righe corrispondono ad A con una singola riga che fa una transizione verso se stessa.PUNUN
Il prodotto di due catene sugli stati S P e Q sugli stati S Q , con matrici di transizione P e Q , rispettivamente, è una catena di Markov sugli stati S P × S Q = { ( p , q )PSPQSQPQ con matrice di transizioneSP× SQ= { ( p , q)|p ∈ SP, q∈ SQ}
( P ⊗ Q )( i , j ) , ( k , l )= Pi kQj l.
In effetti, la catena di prodotti gestisce le due catene in parallelo, localizzando separatamente dove ciascuna è e effettuando le transizioni in modo indipendente.
Un semplice esempio può chiarire queste costruzioni. Supponiamo che Polly stia lanciando una moneta con una probabilità di teste di atterraggio. Ha in programma di farlo fino ad osservare una testa. Gli stati per il processo di lancio della moneta sono S P = { T , H } che rappresentano i risultati del lancio più recente: T per le code, H per le teste. Progettando di fermarsi alla testa, Polly applicherà la prima costruzione rendendo H uno stato assorbente. La matrice di transizione risultante èpSP= { T , H }THH
P = ( 1 - p0p1) .
Inizia in uno stato casuale dato dal primo lancio.( 1 - p , p )
A tempo con Polly, Quincy lancerà una moneta giusta. Ha intenzione di fermarsi quando vede due teste di fila. La sua catena Markov deve quindi tenere traccia sia del risultato precedente che di quello attuale. Esistono quattro combinazioni del genere di due teste e due code, che abbrevierò come " ", ad esempio, in cui la prima lettera è il risultato precedente e la seconda lettera è il risultato corrente . Quincy applica la costruzione (1) per rendere HH uno stato assorbente. Dopo averlo fatto, si rende conto che non ha davvero bisogno di quattro stati: può semplificare la sua catena in tre stati: T significa che il risultato corrente è croce, H significa che il risultato corrente è testa e XTHHHTHXsignifica che gli ultimi due risultati sono stati entrambi i capi - questo è lo stato assorbente. La matrice di transizione è
Q = ⎛⎝⎜⎜1212012000121⎞⎠⎟⎟.
La catena di prodotti funziona su sei stati: . La matrice di transizione è un prodotto tensore di P e Q ed è altrettanto facilmente calcolabile. Ad esempio, ( P ⊗ Q ) ( T ,( T, T) , ( T, H) , ( T, X) ; ( H, T) , ( H, H) , ( H, X)PQ è la probabilità che Polly effettua una transizione daTaTe, allo stesso tempo (e indipendente), Quincy effettua una transizione daTaH. Il primo ha una probabilità di1-pe la possibilità di quest'ultimo1 / 2. Poiché le catene sono gestite in modo indipendente, queste possibilità si moltiplicano, dando(1-p) / 2. La matrice di transizione completa è( P ⊗ Q )( T, T) , ( T, H)TTTH1 - p1 / 2( 1 - p ) / 2
P ⊗ Q = ⎛⎝⎜⎜⎜⎜⎜⎜⎜⎜⎜⎜⎜1 - p21 - p200001 - p20000001 - p21 - p000p2p2012120p20012000p2p0121⎞⎠⎟⎟⎟⎟⎟⎟⎟⎟⎟⎟⎟.
È in forma di matrice a blocchi con blocchi corrispondenti alla seconda matrice :Q
P ⊗ Q = ( P11QP21QP12QP22Q) = ( ( 1 - p ) Q0p QQ) .
Polly e Quincy competono per vedere chi raggiungerà per primo il loro obiettivo. Il vincitore sarà Polly ogni volta che viene effettuata una transizione a dove * non è X ; il vincitore sarà Quincy ogni volta che viene effettuata una transizione a ( T , X ) ; e se prima che uno di questi può accadere viene effettuata una transizione a ( H , X ) , il risultato sarà un pareggio. Per tenere traccia, faremo gli stati ( H , T ) e ( H , H )( H , * )*X( T , X )( H , X )( H , T )( H , H )entrambi assorbono (tramite costruzione (1)) e poi li uniscono (tramite costruzione (2)). La matrice di transizione risultante, ordinata dagli stati è( T, T) , ( T, H) , ( T, X) , { ( H, T) , ( H, H) } , ( H, X)
R = ⎛⎝⎜⎜⎜⎜⎜⎜⎜1 - p21 - p20001 - p2000001 - p2100pp20100p2001⎞⎠⎟⎟⎟⎟⎟⎟⎟.
( T, T) , ( T, H) , ( T, X) , { ( H, T) , ( H, H) } , ( H, X)μ = ( ( 1 - p ) / 2 , ( 1 - p ) / 2 , 0 , p , 0 )
n → ∞
μ ⋅ Rn→ 11 + 4 p - p2( 0 , 0 , ( 1 - p )2, p ( 5 - p ) , p ( 1 - p ) ) .
( T, X) , { ( H, T) , ( H, H) } , ( H, X)( 1 - p )2: p ( 5 - p ) : p ( 1 - p )
p