Valore atteso da Worm e Apple

Una mela si trova a vertici di pentagono , e un verme si trova a due vertici di distanza, a . Ogni giorno il worm striscia con uguale probabilità su uno dei due vertici adiacenti. Quindi dopo un giorno il worm si trova al vertice o , ciascuno con probabilità . Dopo due giorni, il worm potrebbe tornare di nuovo a , perché non ha memoria delle posizioni precedenti. Quando raggiunge il vertice , smette di cenare.$A$$ABCDE$$C$$B$$D$$1/2$$C$$A$

(a) Qual è la media del numero di giorni prima della cena?

(b) Sia p la probabilità che il numero di giorni sia o più. Cosa dice Inequality di Markov su ?$100$$p$

Per (a), sia la variabile casuale definita dal numero di giorni fino alla cena. Quindi P (X = 0) = 0 \\ P (X = 1) = 0 \\ P (X = 2) = \ frac {1} {\ binom {5} {2}} \\ \ vdots$X$

$$P(X = 0) = 0 \\ P(X=1) = 0 \\ P(X=2) = \frac{1}{\binom{5}{2}} \\ \vdots$$

Quale sarebbe la distribuzione generale?

Per (b), se conosciamo (a), allora sappiamo che

$$P(X \geq 100) \leq \frac{E(X)}{100}$$

Nell'eccellente risposta di Glen_b , mostra che puoi calcolare analiticamente il valore atteso usando un semplice sistema di equazioni lineari. Seguendo questo metodo analitico è possibile determinare che il numero previsto di spostamenti sulla mela è sei. Un'altra eccellente risposta di whuber mostra come derivare la funzione di massa di probabilità per il processo dopo un determinato numero di mosse, e questo metodo può anche essere usato per ottenere una soluzione analitica per il valore atteso. Se desideri ulteriori approfondimenti su questo problema, dovresti leggere alcuni articoli su passeggiate circolari casuali (vedi ad esempio Stephens 1963 )

Per dare una visione alternativa del problema, ti mostrerò come ottenere lo stesso risultato usando il metodo della forza bruta del solo calcolo della catena di Markov usando il calcolo statistico. Questo metodo è inferiore all'esame analitico sotto molti aspetti, ma ha il vantaggio che ti consente di affrontare il problema senza richiedere importanti approfondimenti matematici.

---

Metodo di calcolo della forza bruta: prendendo gli stati nell'ordine , le transizioni della catena Markov secondo la seguente matrice di transizione:$A,B,C,D,E$

$$\mathbf{P} = \begin{bmatrix} 1 & 0 & 0 & 0 & 0 \\[6pt] \tfrac{1}{2} & 0 & \tfrac{1}{2} & 0 & 0 \\[6pt] 0 & \tfrac{1}{2} & 0 & \tfrac{1}{2} & 0 \\[6pt] 0 & 0 & \tfrac{1}{2} & 0 & \tfrac{1}{2} \\[6pt] \tfrac{1}{2} & 0 & 0 & \tfrac{1}{2} & 0 \\[6pt] \end{bmatrix}$$

Il primo stato è lo stato assorbente cui il verme si trova sulla mela. Lasciate sia il numero di mosse fino a quando il worm arriva alla mela dallo stato . Quindi per tutti la probabilità che il worm si trovi sulla mela dopo questo numero di mosse è e quindi il numero previsto di mosse per arrivare alla mela da questo stato è:$A$$T_C$$C$$n \in \mathbb{N}$$\mathbb{P}(T_C \leqslant n) = \{ \mathbf{P}^n \}_{C,A}$

$$\mathbb{E}(T_C) = \sum_{n=0}^\infty \mathbb{P}(T_C > n) = \sum_{n=0}^\infty (1-\{ \mathbf{P}^n \}_{C,A}).$$

I termini nella somma diminuiscono esponenzialmente per grande in modo da poter calcolare il valore atteso a qualsiasi livello di precisione desiderato troncando la somma a un numero finito di termini. (Il decadimento esponenziale dei termini assicura che possiamo limitare la dimensione dei termini rimossi al di sotto del livello desiderato.) In pratica è facile prendere un gran numero di termini fino a quando la dimensione dei termini rimanenti è estremamente ridotta.$n$

---

Programmazione in R: è possibile programmare questa funzione come funzione Rnell'uso del codice seguente. Questo codice è stato vettorializzato per generare una serie di potenze della matrice di transizione per una sequenza finita di mosse. Generiamo anche un diagramma della probabilità che la mela non sia stata raggiunta, dimostrando che ciò diminuisce in modo esponenziale.

#Create function to give n-step transition matrix for n = 1,...,N
#N is the last value of n
PROB <- function(N) { P <- matrix(c(1, 0, 0, 0, 0, 
                                    1/2, 0, 1/2, 0, 0, 
                                    0, 1/2, 0, 1/2, 0,
                                    0, 0, 1/2, 0, 1/2,
                                    1/2, 0, 0, 1/2, 0),
                                  nrow = 5, ncol = 5, 
                                  byrow = TRUE);
                      PPP <- array(0, dim = c(5,5,N));
                      PPP[,,1] <- P;
                      for (n in 2:N) { PPP[,,n] <- PPP[,,n-1] %*% P; } 
                      PPP }

#Calculate probabilities of reaching apple for n = 1,...,100
N  <- 100;
DF <- data.frame(Probability = PROB(N)[3,1,], Moves = 1:N);

#Plot probability of not having reached apple
library(ggplot2);
FIGURE <- ggplot(DF, aes(x = Moves, y = 1-Probability)) +
          geom_point() +
          scale_y_log10(breaks = scales::trans_breaks("log10", function(x) 10^x),
                        labels = scales::trans_format("log10", 
                                 scales::math_format(10^.x))) +
          ggtitle('Probability that worm has not reached apple') +
          xlab('Number of Moves') + ylab('Probability');
FIGURE;

#Calculate expected number of moves to get to apple
#Calculation truncates the infinite sum at N = 100
#We add one to represent the term for n = 0
EXP <- 1 + sum(1-DF$Probability);
EXP;

[1] 6

Come puoi vedere da questo calcolo, il numero previsto di mosse per arrivare alla mela è sei. Questo calcolo è stato estremamente rapido usando il codice vettorializzato sopra per la catena di Markov.

Voglio solo illustrare un modo semplice di guardare la parte (a) senza passare attraverso tutta la routine della catena Markov. Ci sono due classi di stati di cui preoccuparsi: essere a un passo e due a distanza (C e D sono identici in termini di passi previsti fino a raggiungere A, e B ed E sono identici). Lascia che " " rappresenti il ​​numero di passaggi necessari dal vertice e così via.$S_B$$B$

$E(S_C) = 1+\frac12[E(S_B)+E(S_D)] = 1+ \frac12[E(S_B)+E(S_C)]$

Allo stesso modo scrivere un'equazione per l'attesa per .$E(S_B)$

Sostituisci il secondo nel primo (e per comodità scrivi per ) e otterrai una soluzione per in un paio di righe.$c$$E(S_C)$$c$

Il problema

Questa catena di Markov ha tre stati, distinti dal fatto che il worm si trovi a o spazi di distanza da Sia la variabile casuale che indica quanti passi prenderà il worm per raggiungere dallo stato Le loro funzioni che generano probabilità sono un modo algebrico conveniente per codificare le probabilità di queste variabili. Non è necessario preoccuparsi di problemi analitici quali la convergenza: appena li vedono come serie di potenze formali in un simbolo fornite dal$0,$ $1,$$2$$C.$$X_i$$C$$i\in\{0,1,2\}.$$t$

$$f_i(t) = \Pr(X_i=0) + \Pr(X_i=1)t^1 + \Pr(X_i=2)t^2 + \cdots + \Pr(X_i=n)t^n + \cdots$$

Poiché è banale che Dobbiamo trovare$\Pr(X_0=0)=1,$$f_0(t)=1.$$f_2.$

Analisi e soluzione

Dallo stato il verme ha le stesse possibilità di di tornando allo stato o raggiungere . La contabilità per fare questo passo aggiunge a tutti i poteri di , equivale a moltiplicare il pgf per , dando$1,$$1/2$$2$$C$$1$$t$$t$

$$f_1 = \frac{1}{2}t\left(f_2 + f_0\right).$$

Allo stesso modo, dallo stato il worm ha le stesse possibilità di rimanere nello stato o raggiungere lo stato da cui$2$$2$$1,$

$$f_2 = \frac{1}{2}t\left(f_2 + f_1\right).$$

L'aspetto di suggerisce che il nostro lavoro sarà reso più semplice introducendo la variabile dando$t/2$$x=t/2,$

$$f_1(x) = x(f_2(x) + f_0(x));\quad f_2(x) = x(f_2(x) + f_1(x)).$$

Sostituendo il primo nel secondo e richiamando ottiene$f_0=1$

$$f_2(x) = x(f_2(x) + x(f_2(x) + 1))\tag{*}$$

la cui soluzione unica è

$$f_2(x) = \frac{x^2}{1 - x - x^2}.\tag{**}$$

Ho evidenziato l'equazione per enfatizzare la sua semplicità di base e la sua somiglianza formale con l'equazione che otterremmo analizzando solo i valori previsti in effetti, per la stessa quantità di lavoro necessario per trovare questo numero, otteniamo l' intera distribuzione.$(*)$$E[X_i]:$

Implicazioni e semplificazione

Equivalentemente, quando è scritto termine per termine e i poteri di sono abbinati, si afferma che per$(*)$$t$$n\ge 4,$

$$2^n\Pr(X_2=n) = 2^{n-1}\Pr(X_2=n-1) + 2^{n-2}\Pr(X_2=n-2).$$

Questa è la ricorrenza per la famosa sequenza di numeri di Fibonacci

$$(F_n) = (1,1,2,3,5,8,13,21,34,55,89,144,\ldots)$$

(indicizzato da ). La corrispondenza della soluzione è questa sequenza spostata di due posizioni (perché non vi è alcuna probabilità che o ed è facile verificare che ).$n=0$$(**)$$X_2=0$$X_2=1$$2^2\Pr(X_2=2)=1=2^3\Pr(X_2=3)$

conseguentemente

$$\Pr(X_2 = n) = 2^{-n-2}F_{n-2}.$$

Più specificamente,

$$\eqalign{ f_2(t) &= 2^{-2}F_0t^2 + 2^{-3}F_1 t^3 + 2^{-4} F_2 t^4 + \cdots \\ &= \frac{1}{4}t^2 + \frac{1}{8}t^3 + \frac{2}{16}t^4 + \frac{3}{32}t^5 + \frac{5}{64}t^6 + \frac{8}{128}t^7 +\frac{13}{256}t^8 + \cdots. }$$

---

L'aspettativa di trova prontamente valutando la derivata e sostituendo perché (differenziando i poteri di termine per termine) questo dà la formula$X_2$$f^\prime$$t=1,$$t$

$$f^\prime(1) = \Pr(X_2=0)(0) + \Pr(X_2=1)(1)1^0 + \cdots + \Pr(X_2=n)(n)1^{n-1} + \cdots$$

che, come somma delle probabilità moltiplicata per i valori di è precisamente la definizione di Prendere il derivato usando produce una formula semplice per l'aspettativa.$X_2,$$E[X_2].$$(**)$

---

Alcuni brevi commenti

Espandendo come frazioni parziali, può essere scritto come la somma di due serie geometriche. Questo mostra immediatamente che le probabilità diminuiranno esponenzialmente. Produce anche un modulo chiuso per le probabilità di coda Usandolo, possiamo rapidamente calcolare che è un po 'meno di$(**)$$f_2$$\Pr(X_2=n)$$\Pr(X_2 \gt n).$$\Pr(X_2 \ge 100)$$10^{-9}.$

Infine, queste formule coinvolgono la sezione aurea Questo numero è la lunghezza di un accordo di un pentagono regolare (del lato unità), che produce una sorprendente connessione tra una catena di Markov puramente combinatoria sul pentagono (che "non sa" nulla della geometria euclidea) e la geometria di un pentagono regolare nel Piano euclideo.$\phi = (1 + \sqrt{5})/2.$

Per il numero medio di giorni fino alla cena, condiziona il passaggio del primo giorno. Lascia che sia il numero di giorni prima che il worm ottenga la mela. Lascia che sia il primo passo.$X$$F$

Poi abbiamo

$$E[X]=E[X|F=B] \ [P(F=B)]+E[X|F=D] \ P[F=D]$$

Se il primo passo è allora il worm ottiene la mela il giorno 2 con probabilità metà, oppure torna al vertice con probabilità metà e ricomincia da capo. Possiamo scrivere questo come$B,$$C$

$$E[X|F=B]=2 \left( \frac{1}{2} \right) + \left(2+E[X] \right) \left( \frac{1}{2} \right)=2+\frac{E[X]}{2}$$

Se il primo passo è quindi per simmetria è lo stesso del vertice tranne per il fatto che il worm ha fatto un singolo passo, quindi$D,$$C$

$$E[X|F=D]=1+E[X]$$

Mettendo tutto insieme, otteniamo

$$E[X] = \left( 2+\frac{E[X]}{2} \right)\left( \frac{1}{2} \right) + \left( 1 + E[X] \right)\left( \frac{1}{2} \right)$$

Risolvendo i rendimenti di$E[X]$

$$E[X] = 6$$