Qual è la differenza tra le distribuzioni "limitanti" e "stazionarie"?

Sto facendo una domanda sulle catene di Markov e le ultime due parti dicono questo:

• Questa catena di Markov possiede una distribuzione limitante? Se la tua risposta è "sì", trova la distribuzione limitante. Se la tua risposta è "no", spiega perché.
• Questa catena di Markov possiede una distribuzione stazionaria? Se la tua risposta è "sì", trova la distribuzione stazionaria. Se la tua risposta è "no", spiega perché.

Qual è la differenza? In precedenza, pensavo che la distribuzione limitante fosse quando la risolvi usando ma questa è la Π = Π $P = CA^n C^{-1}$$n$ 'th matrice fase di transizione. Hanno calcolato la distribuzione limitante usando, che pensavo fosse la distribuzione stazionaria.$\Pi = \Pi P$

Quale è allora?

Da un'introduzione alla modellazione stocastica di Pinsky e Karlin (2011):

π = (

$$\mathbf{P}=\left\|\begin{matrix}0 & 1\\1 & 0\end{matrix}\right\|$$ ma è un distribuzione stazionaria, poiché (p. 205).($\pi=\left(\frac{1}{2},\frac{1}{2}\right)$ $$\left(\frac{1}{2},\frac{1}{2}\right)\left\|\begin{matrix}0 & 1\\1 & 0\end{matrix}\right\|=\left(\frac{1}{2},\frac{1}{2}\right)$$

In una sezione precedente, avevano già definito una " distribuzione di probabilità limitante " di$\pi$

$$\lim_{n\rightarrow\infty}P_{ij}^{(n)}=\pi_j~\mathrm{for}~j=0,1,\dots,N$$

e equivalentemente

$$\lim_{n\rightarrow\infty}\operatorname{Pr}\{X_n=j|X_0=i\}=\pi_j>0~\mathrm{for}~j=0,1,\dots,N$$ (p. 165).

L'esempio sopra oscilla in modo deterministico e quindi non ha un limite allo stesso modo in cui la sequenza non ha un limite.$\{1,0,1,0,1,\dots\}$

---

Dichiarano che una normale catena di Markov (in cui tutte le probabilità di transizione n-step sono positive) ha sempre una distribuzione limitante e dimostrano che deve essere l'unica soluzione non negativa a

$$\pi_j=\sum_{k=0}^N\pi_kP_{kj},~~j=0,1,\dots,N,\\ \sum_{k=0}^N\pi_k=1$$ (p. 168 )

Quindi sulla stessa pagina dell'esempio, scrivono

Qualsiasi insieme soddisfacente (4.27) è chiamato distribuzione di probabilità stazionaria della catena di Markov. Il termine "stazionario" deriva dalla proprietà che una catena di Markov avviata secondo una distribuzione stazionaria seguirà questa distribuzione in ogni momento. Formalmente, se Pr { X 0 = i } = π i , allora Pr { X n = i } = π i per tutto n = 1 , 2 $(\pi_i)_{i=0}^{\infty}$$\operatorname{Pr}\{X_0=i\}=\pi_i$$\operatorname{Pr}\{X_n=i\}=\pi_i$ .$n=1,2,\dots$

dove (4.27) è l'insieme di equazioni

$$\pi_i \geq 0, \sum_{i=0}^{\infty} \pi_i=1,~\mathrm{and}~\pi_j = \sum_{i=0}^{\infty} \pi_iP_{ij}.$$

che è esattamente la stessa condizione di stazionarietà di cui sopra, tranne ora con un numero infinito di stati.

Con questa definizione di stazionarietà, l'affermazione a pagina 168 può essere riformulata retroattivamente come:

1. La distribuzione limitante di una normale catena di Markov è una distribuzione stazionaria.
2. Se la distribuzione limitante di una catena di Markov è una distribuzione stazionaria, la distribuzione stazionaria è unica.

Una distribuzione stazionaria è tale distribuzione che se la distribuzione sugli stati nella fase k è π , allora anche la distribuzione sugli stati nella fase k + 1 è π . Cioè, π = π P . Una distribuzione limitante è tale distribuzione π che, indipendentemente dalla distribuzione iniziale, la distribuzione sugli stati converge in π quando il numero di passi va all'infinito: lim k → ∞ π ( 0 ) P k = π $\pi$$k$$\pi$$k+1$$\pi$

$$\begin{equation} \pi = \pi P. \end{equation}$$ $\pi$$\pi$ $$\begin{equation} \lim_{k\rightarrow \infty} \pi^{(0)} P^k = \pi, \end{equation}$$ indipendente da . Ad esempio, consideriamo una catena di Markov i cui due stati sono i lati di una moneta, { h e a d s , t a i l s } . Ogni passaggio consiste nel capovolgere la moneta (con probabilità 1). Si noti che quando calcoliamo le distribuzioni di stato, queste non sono subordinate ai passaggi precedenti, ovvero il tipo che calcola le probabilità non vede la moneta. Quindi, la matrice di transizione è P = ( 0 1 1 0 ) . Se inizializziamo prima la moneta lanciandola in modo casuale ( $\pi^{(0)}$$\{heads, tails\}$ $$\begin{equation} P = \begin{pmatrix} 0 & 1 \\ 1 & 0 \end{pmatrix}. \end{equation}$$ ), quindi anche tutte le fasi temporali successive seguono questa distribuzione. (Se lanci una moneta giusta, e poi la capovolgi, la probabilità delle teste è ancora0,5). Pertanto, ( 0,5 0,5 ) è una distribuzione fissa per questa catena di Markov.$\pi^{(0)} = \begin{pmatrix}0.5 & 0.5\end{pmatrix}$$0.5$$\begin{pmatrix} 0.5 & 0.5 \end{pmatrix}$

$2/3$$2/3$$1/3$

$6$

$$\begin{equation} P = \begin{pmatrix} 1/6 & 5/6 \\ 5/6 & 1/6 \end{pmatrix}. \end{equation}$$ $0.5$$\begin{pmatrix} 0.5 & 0.5 \end{pmatrix}$

Mettendo da parte la notazione, la parola "stazionario" significa "una volta arrivato lì, rimarrai lì"; mentre la parola "limitare" implica "alla fine ci arriverai se vai abbastanza lontano". Ho pensato che potesse essere utile.