Derivazione dell'equazione di Bellman nell'apprendimento per rinforzo

Vedo la seguente equazione in " In Reinforcement Learning. An Introduction ", ma non seguo del tutto il passaggio che ho evidenziato in blu di seguito. Come si deriva esattamente questo passaggio?

Questa è la risposta per tutti coloro che si chiedono la matematica pulita e strutturata dietro di essa (cioè se appartieni a un gruppo di persone che sa cos'è una variabile casuale e che devi mostrare o presumere che una variabile casuale abbia una densità, allora questo è la risposta per te ;-)):

Prima di tutto dobbiamo avere che il processo decisionale di Markov ha solo un numero finito di -reward, cioè abbiamo bisogno che esista un insieme finito di densità, ciascuna appartenente a variabili , cioè per tutti e una mappa tale che (cioè negli automi dietro l'MDP, potrebbero esserci infiniti stati ma ci sono solo finitamente molte distribuzioni di ricompense associate alle transizioni forse infinite tra gli stati)$L^1$$E$$L^1$$\int_{\mathbb{R}}x \cdot e(x) dx < \infty$$e \in E$$F : A \times S \to E$

$$p(r_t|a_t, s_t) = F(a_t, s_t)(r_t)$$ $L^1$

Teorema 1 : Consenti (ovvero una variabile casuale reale integrabile) e lascia che sia un'altra variabile casuale tale che abbiano una densità comune quindi $X \in L^1(\Omega)$$Y$$X,Y$

$$E[X|Y=y] = \int_\mathbb{R} x p(x|y) dx$$

Prova : essenzialmente dimostrato qui da Stefan Hansen.

Teorema 2 : Sia e siano ulteriori variabili casuali tali che abbiano una densità comune quindi dove è nell'intervallo .$X \in L^1(\Omega)$$Y,Z$$X,Y,Z$

$$E[X|Y=y] = \int_{\mathcal{Z}} p(z|y) E[X|Y=y,Z=z] dz$$ $\mathcal{Z}$$Z$

Prova :

$$\begin{align*} E[X|Y=y] &= \int_{\mathbb{R}} x p(x|y) dx \\ &~~~~\text{(by Thm. 1)}\\ &= \int_{\mathbb{R}} x \frac{p(x,y)}{p(y)} dx \\ &= \int_{\mathbb{R}} x \frac{\int_{\mathcal{Z}} p(x,y,z) dz}{p(y)} dx \\ &= \int_{\mathcal{Z}} \int_{\mathbb{R}} x \frac{ p(x,y,z) }{p(y)} dx dz \\ &= \int_{\mathcal{Z}} \int_{\mathbb{R}} x p(x|y,z)p(z|y) dx dz \\ &= \int_{\mathcal{Z}} p(z|y) \int_{\mathbb{R}} x p(x|y,z) dx dz \\ &= \int_{\mathcal{Z}} p(z|y) E[X|Y=y,Z=z] dz \\ &~~~~\text{(by Thm. 1)} \end{align*}$$

Inserisci e inserisci allora si può mostrare (usando il fatto che MDP ha solo finitamente molti -rewards) che converge e che dalla funzioneè ancora in (cioè integrabile) si può anche mostrare (usando la consueta combinazione dei teoremi della convergenza monotona e quindi dominata la convergenza sulle equazioni che definiscono [le fattorizzazioni di] l'attesa condizionale) che Ora uno lo mostra $G_t = \sum_{k=0}^\infty \gamma^k R_{t+k}$$G_t^{(K)} = \sum_{k=0}^K \gamma^k R_{t+k}$$L^1$ [ G ( K ) t | S t = s t ] = E [ G t | S t = s t ] | s t$G_t^{(K)}$$\sum_{k=0}^\infty \gamma^k |R_{t+k}|$$L^1(\Omega)$

$$\lim_{K \to \infty} E[G_t^{(K)} | S_t=s_t] = E[G_t | S_t=s_t]$$ $$E[G_t^{(K)} | S_t=s_t] = E[R_{t} | S_t=s_t] + \gamma \int_S p(s_{t+1}|s_t) E[G_{t+1}^{(K-1)} | S_{t+1}=s_{t+1}] ds_{t+1}$$ | S t + 1 = s ′ , S t = s t ] utilizzando , Thm. 2 sopra quindi Thm. 1 su e quindi usando una guerra di emarginazione semplice, si mostra che per tutto . Ora dobbiamo applicare il limite da su entrambi i lati dell'equazione. Per spostare il limite nell'integrale nello spazio degli stati dobbiamo fare alcune ipotesi aggiuntive:$G_t^{(K)} = R_t + \gamma G_{t+1}^{(K-1)}$$E[G_{t+1}^{(K-1)}|S_{t+1}=s', S_t=s_t]$$p(r_q|s_{t+1}, s_t) = p(r_q|s_{t+1})$$q \geq t+1$$K \to \infty$$S$

O lo spazio degli stati è finito (quindi e la somma è finita) o tutte le ricompense sono tutte positive (quindi usiamo la convergenza monotona) o tutte le ricompense sono negative (quindi mettiamo un segno meno davanti al equazione e usa di nuovo la convergenza monotona) o tutte le ricompense sono limitate (quindi usiamo la convergenza dominata). Quindi (applicando su entrambi i lati dell'equazione Bellman parziale / finita sopra) otteniamo$\int_S = \sum_S$$\lim_{K \to \infty}$

$$E[G_t | S_t=s_t] = E[G_t^{(K)} | S_t=s_t] = E[R_{t} | S_t=s_t] + \gamma \int_S p(s_{t+1}|s_t) E[G_{t+1} | S_{t+1}=s_{t+1}] ds_{t+1}$$

e poi il resto è la solita manipolazione della densità.

NOTA: Anche in compiti molto semplici lo spazio degli stati può essere infinito! Un esempio potrebbe essere il compito di "bilanciare un polo". Lo stato è essenzialmente l'angolo del polo (un valore in , un insieme infinito infinito!)$[0, 2\pi)$

NOTA: le persone potrebbero commentare 'impasto, questa prova può essere abbreviata molto di più se si utilizza direttamente la densità di e si mostra che '... MA ... le mie domande sarebbero:$G_t$$p(g_{t+1}|s_{t+1}, s_t) = p(g_{t+1}|s_{t+1})$

1. Come mai sai anche che ha una densità?$G_{t+1}$
2. Come mai sai persino che ha una densità comune insieme a ?$G_{t+1}$$S_{t+1}, S_t$
3. Come si deduce che ? Questa non è solo la proprietà Markov: la proprietà Markov ti dice solo qualcosa sulle distribuzioni marginali, ma queste non determinano necessariamente l'intera distribuzione, vedi ad esempio i gaussiani multivariati!$p(g_{t+1}|s_{t+1}, s_t) = p(g_{t+1}|s_{t+1})$

Lascia che la somma totale dei premi scontati dopo il tempo sia: G t = R t + 1 + γ R t + 2 + γ 2 R t + 3 + . . $t$
$G_t = R_{t+1}+\gamma R_{t+2}+\gamma^2 R_{t+3}+...$

Valore d'uso di partire in stato, al momento, è equivalente a somma attesa di ricompense scontati di eseguire la politica a partire da stato in poi. Per definizione di Per legge di linearità Per legge dit R π s U π ( S t = s ) = E π [ G t | S t = s $s$$t$
$R$$\pi$$s$
$U_\pi(S_t=s) = E_\pi[G_t|S_t = s]$
G t = E π [ ( R t + 1 + γ ( R t + 2 + γ R t + 3 + . . $\\ = E_\pi[(R_{t+1}+\gamma R_{t+2}+\gamma^2 R_{t+3}+...)|S_t = s]$$G_t$
= E π [ ( R t + 1 + γ ( G t + 1 ) ) | S t = s ] = E π [ R t + 1 | S t = s ] + γ E π [ G t + 1 | S t = s $= E_\pi[(R_{t+1}+\gamma (R_{t+2}+\gamma R_{t+3}+...))|S_t = s]$
$= E_\pi[(R_{t+1}+\gamma (G_{t+1}))|S_t = s]$
$= E_\pi[R_{t+1}|S_t = s]+\gamma E_\pi[ G_{t+1}|S_t = s]$
= E π [ R t + 1 | S t = s ] + γ E π [ $= E_\pi[R_{t+1}|S_t = s]+\gamma E_\pi[E_\pi(G_{t+1}|S_{t+1} = s')|S_t = s]$Aspettativa totale Per definizione di Per legge di linearità
U π = E π [ R t + 1 + γ U π ( S t + 1 = s ′ ) | S t = s $= E_\pi[R_{t+1}|S_t = s]+\gamma E_\pi[U_\pi(S_{t+1}= s')|S_t = s]$$U_\pi$
$= E_\pi[R_{t+1} + \gamma U_\pi(S_{t+1}= s')|S_t = s]$

Supponendo che le soddisfa processo di Markov di proprietà:
Probabilità di finire in stato di avendo iniziato da stato e intrapreso azioni , e ricompensa di finire nello stato che è iniziato dallo stato e ha intrapreso un'azione , s ′ s a P r ( s ′ | s , a ) = P r ( S t + 1 = s ′ , S t = s , A t = a ) R s ′ s a R ( s , a , s ′ ) = [ R t + 1 | S $Pr$$s'$$s$$a$
$Pr(s'|s,a) = Pr(S_{t+1} = s', S_t=s,A_t = a)$
$R$$s'$$s$$a$
$R(s,a,s') = [R_{t+1}|S_t = s, A_t = a, S_{t+1}= s']$

Quindi possiamo riscrivere sopra l'equazione dell'utilità come,
$= \sum_a \pi(a|s) \sum_{s'} Pr(s'|s,a)[R(s,a,s')+ \gamma U_\pi(S_{t+1}=s')]$

Dove; : probabilità di agire in stato per una politica stocastica. Per la politica deterministica,a s ∑ a π ( a | s ) = $\pi(a|s)$$a$$s$$\sum_a \pi(a|s)= 1$

Ecco la mia prova. Si basa sulla manipolazione di distribuzioni condizionate, che ne facilita il seguito. Spero che questo ti aiuti.

$$\begin{align} v_{\pi}(s)&=E{\left[G_t|S_t=s\right]} \nonumber \\ &=E{\left[R_{t+1}+\gamma G_{t+1}|S_t=s\right]} \nonumber \\ &= \sum_{s'}\sum_{r}\sum_{g_{t+1}}\sum_{a}p(s',r,g_{t+1}, a|s)(r+\gamma g_{t+1}) \nonumber \\ &= \sum_{a}p(a|s)\sum_{s'}\sum_{r}\sum_{g_{t+1}}p(s',r,g_{t+1} |a, s)(r+\gamma g_{t+1}) \nonumber \\ &= \sum_{a}p(a|s)\sum_{s'}\sum_{r}\sum_{g_{t+1}}p(s',r|a, s)p(g_{t+1}|s', r, a, s)(r+\gamma g_{t+1}) \nonumber \\ &\text{Note that $p(g_{t+1}|s', r, a, s)=p(g_{t+1}|s')$ by assumption of MDP} \nonumber \\ &= \sum_{a}p(a|s)\sum_{s'}\sum_{r}p(s',r|a, s)\sum_{g_{t+1}}p(g_{t+1}|s')(r+\gamma g_{t+1}) \nonumber \\ &= \sum_{a}p(a|s)\sum_{s'}\sum_{r}p(s',r|a, s)(r+\gamma\sum_{g_{t+1}}p(g_{t+1}|s')g_{t+1}) \nonumber \\ &=\sum_{a}p(a|s)\sum_{s'}\sum_{r}p(s',r|a, s)\left(r+\gamma v_{\pi}(s')\right) \label{eq2} \end{align}$$ Questa è la famosa equazione di Bellman.

Qual è il seguente approccio?

$$\begin{align} v_\pi(s) & = \mathbb{E}_\pi\left[G_t \mid S_t = s\right] \\ & = \mathbb{E}_\pi\left[R_{t+1} + \gamma G_{t+1} \mid S_t = s\right] \\ & = \sum_a \pi(a \mid s) \sum_{s'} \sum_r p(s', r \mid s, a) \cdot \,\\ & \qquad \mathbb{E}_\pi\left[R_{t+1} + \gamma G_{t+1} \mid S_{t} = s, A_{t+1} = a, S_{t+1} = s', R_{t+1} = r\right] \\ & = \sum_a \pi(a \mid s) \sum_{s', r} p(s', r \mid s, a) \left[r + \gamma v_\pi(s')\right]. \end{align}$$

Le somme vengono introdotte per recuperare , e da . Dopotutto, le azioni possibili e i possibili stati successivi possono essere. Con queste condizioni extra, la linearità dell'aspettativa porta al risultato quasi direttamente.s ′ r $a$$s'$$r$$s$

Non sono sicuro di quanto matematicamente sia rigorosa la mia tesi. Sono aperto a miglioramenti.

Questo è solo un commento / aggiunta alla risposta accettata.

Ero confuso nella linea in cui viene applicata la legge dell'aspettativa totale. Non credo che la principale forma di legge dell'aspettativa totale possa aiutare qui. Una variante di questo è in effetti necessaria qui.

Se sono variabili casuali e presupponendo che esistano tutte le aspettative, vale la seguente identità:$X,Y,Z$

$E[X|Y] = E[E[X|Y,Z]|Y]$

In questo caso, , e . Poi$X= G_{t+1}$$Y = S_t$$Z = S_{t+1}$

$E[G_{t+1}|S_t=s] = E[E[G_{t+1}|S_t=s, S_{t+1}=s'|S_t=s]$ , che secondo Markov proprietà eqauls to$E[E[G_{t+1}|S_{t+1}=s']|S_t=s]$

Da lì, si potrebbe seguire il resto della prova dalla risposta.

π π ( a | s ) a $\mathbb{E}_\pi(\cdot)$ solito indica le aspettative supponendo che l'agente segua la politica . In questo caso sembra non deterministico, ovvero restituisce la probabilità che l'agente agisca quando si trova nello stato .$\pi$$\pi(a|s)$$a$$s$

Sembra che , in minuscolo, sta sostituendo , una variabile casuale. La seconda aspettativa sostituisce la somma infinita, per riflettere l'assunto che continuiamo a seguire per tutto il futuro . è quindi la ricompensa immediata prevista nel passaggio successivo; La seconda aspettativa — che diventa — è il valore atteso dello stato successivo, ponderato dalla probabilità di liquidazione nello stato che ha preso da .R t + 1 π t ∑ s ′ , r r ⋅ p ( s ′ , r | s , a ) v π s ′ a $r$$R_{t+1}$$\pi$$t$$\sum_{s',r} r \cdot p(s′,r|s,a)$$v_\pi$$s'$$a$$s$

Pertanto, le aspettative spiegano la probabilità della politica e le funzioni di transizione e ricompensa, qui espresse insieme come .$p(s', r|s,a)$

anche se la risposta corretta è già stata data e è trascorso un po 'di tempo, ho pensato che la seguente guida passo passo potesse essere utile:
Per linearità del valore atteso possiamo dividere in e . Descriverò i passaggi solo per la prima parte, poiché la seconda parte seguirà gli stessi passaggi combinati con la Legge delle aspettative totali.$E[R_{t+1} + \gamma E[G_{t+1}|S_{t}=s]]$$E[R_{t+1}|S_t=s]$$\gamma E[G_{t+1}|S_{t}=s]$

$$\begin{align} E[R_{t+1}|S_t=s]&=\sum_r{ r P[R_{t+1}=r|S_t =s]} \\ &= \sum_a{ \sum_r{ r P[R_{t+1}=r, A_t=a|S_t=s]}} \qquad \text{(III)} \\ &=\sum_a{ \sum_r{ r P[R_{t+1}=r| A_t=a, S_t=s] P[A_t=a|S_t=s]}} \\ &= \sum_{s^{'}}{ \sum_a{ \sum_r{ r P[S_{t+1}=s^{'}, R_{t+1}=r| A_t=a, S_t=s] P[A_t=a|S_t=s] }}} \\ &=\sum_a{ \pi(a|s) \sum_{s^{'},r}{p(s^{'},r|s,a)} } r \end{align}$$

Considerando che (III) segue la forma:

$$\begin{align} P[A,B|C]&=\frac{P[A,B,C]}{P[C]} \\ &= \frac{P[A,B,C]}{P[C]} \frac{P[B,C]}{P[B,C]}\\ &= \frac{P[A,B,C]}{P[B,C]} \frac{P[B,C]}{P[C]}\\ &= P[A|B,C] P[B|C] \end{align}$$

So che esiste già una risposta accettata, ma desidero fornire una derivazione probabilmente più concreta. Vorrei anche ricordare che sebbene il trucco di @Jie Shi abbia un po 'di senso, ma mi fa sentire molto a disagio :(. Dobbiamo considerare la dimensione temporale per far funzionare questo. Ed è importante notare che l'aspettativa è in realtà ripreso l'intero orizzonte infinito, piuttosto che a poco più di e . Prendiamo per scontato partiamo da (in realtà, la derivazione è lo stesso a prescindere dal tempo di partenza, io non voglio contaminare le equazioni con un altro pedice ) $s$$s'$$t=0$$k$

$$\begin{align} v_{\pi}(s_0)&=\mathbb{E}_{\pi}[G_{0}|s_0]\\ G_0&=\sum_{t=0}^{T-1}\gamma^tR_{t+1}\\ \mathbb{E}_{\pi}[G_{0}|s_0]&=\sum_{a_0}\pi(a_0|s_0)\sum_{a_{1},...a_{T}}\sum_{s_{1},...s_{T}}\sum_{r_{1},...r_{T}}\bigg(\prod_{t=0}^{T-1}\pi(a_{t+1}|s_{t+1})p(s_{t+1},r_{t+1}|s_t,a_t)\\ &\times\Big(\sum_{t=0}^{T-1}\gamma^tr_{t+1}\Big)\bigg)\\ &=\sum_{a_0}\pi(a_0|s_0)\sum_{a_{1},...a_{T}}\sum_{s_{1},...s_{T}}\sum_{r_{1},...r_{T}}\bigg(\prod_{t=0}^{T-1}\pi(a_{t+1}|s_{t+1})p(s_{t+1},r_{t+1}|s_t,a_t)\\ &\times\Big(r_1+\gamma\sum_{t=0}^{T-2}\gamma^tr_{t+2}\Big)\bigg) \end{align}$$ T→∞∑a∑b∑cabc≡∑aa∑bb∑cc ( r1+γ∑ T - 2 t = 0 γtrt+2 RILEVATO CHE L'equazione sopra è valida anche se , IN REALTÀ SARÀ VERO FINO ALLA FINE DELL'UNIVERSO (forse essere un po 'esagerato :))$T\rightarrow\infty$
In questa fase, credo che la maggior parte di noi dovrebbe già avere in mente come quanto sopra porta all'espressione finale - dobbiamo solo applicare la regola di somma-prodotto ( ) scrupolosamente . Applichiamo la legge di linearità dell'Attesa a ciascun termine all'interno del$\sum_a\sum_b\sum_cabc\equiv\sum_aa\sum_bb\sum_cc$$\Big(r_{1}+\gamma\sum_{t=0}^{T-2}\gamma^tr_{t+2}\Big)$

Parte 1

$$\sum_{a_0}\pi(a_0|s_0)\sum_{a_{1},...a_{T}}\sum_{s_{1},...s_{T}}\sum_{r_{1},...r_{T}}\bigg(\prod_{t=0}^{T-1}\pi(a_{t+1}|s_{t+1})p(s_{t+1},r_{t+1}|s_t,a_t)\times r_1\bigg)$$

Bene, questo è piuttosto banale, tutte le probabilità scompaiono (in realtà si sommano a 1) tranne quelle relative a . Pertanto, abbiamo $r_1$

$$\sum_{a_0}\pi(a_0|s_0)\sum_{s_1,r_1}p(s_1,r_1|s_0,a_0)\times r_1$$

Parte 2
Indovina un po ', questa parte è ancora più banale: implica solo riorganizzare la sequenza delle sommazioni.

$$\sum_{a_0}\pi(a_0|s_0)\sum_{a_{1},...a_{T}}\sum_{s_{1},...s_{T}}\sum_{r_{1},...r_{T}}\bigg(\prod_{t=0}^{T-1}\pi(a_{t+1}|s_{t+1})p(s_{t+1},r_{t+1}|s_t,a_t)\bigg)\\=\sum_{a_0}\pi(a_0|s_0)\sum_{s_1,r_1}p(s_1,r_1|s_0,a_0)\bigg(\sum_{a_1}\pi(a_1|s_1)\sum_{a_{2},...a_{T}}\sum_{s_{2},...s_{T}}\sum_{r_{2},...r_{T}}\bigg(\prod_{t=0}^{T-2}\pi(a_{t+2}|s_{t+2})p(s_{t+2},r_{t+2}|s_{t+1},a_{t+1})\bigg)\bigg)$$

E Eureka !! recuperiamo uno schema ricorsivo a fianco delle grandi parentesi. Combiniamolo con e otteniamo e la parte 2 diventa $\gamma\sum_{t=0}^{T-2}\gamma^tr_{t+2}$$v_{\pi}(s_1)=\mathbb{E}_{\pi}[G_1|s_1]$

$$\gamma\mathbb{E}_{\pi}[G_1|s_1]=\sum_{a_1}\pi(a_1|s_1)\sum_{a_{2},...a_{T}}\sum_{s_{2},...s_{T}}\sum_{r_{2},...r_{T}}\bigg(\prod_{t=0}^{T-2}\pi(a_{t+2}|s_{t+2})p(s_{t+2},r_{t+2}|s_{t+1},a_{t+1})\bigg)\bigg(\gamma\sum_{t=0}^{T-2}\gamma^tr_{t+2}\bigg)$$ s1)∑ a 0 π ( a 0 | s 0 ) ∑ s 1 , r 1 p ( s 1 , r 1 | s 0 , a 0 ) × γ v π (
$$\sum_{a_0}\pi(a_0|s_0)\sum_{s_1,r_1}p(s_1,r_1|s_0,a_0)\times \gamma v_{\pi}(s_1)$$

Parte 1 + Parte 2

$$v_{\pi}(s_0) =\sum_{a_0}\pi(a_0|s_0)\sum_{s_1,r_1}p(s_1,r_1|s_0,a_0)\times \Big(r_1+\gamma v_{\pi}(s_1)\Big)$$

E ora se riusciamo a infilare nella dimensione temporale e recuperare le formule ricorsive generali

$$v_{\pi}(s) =\sum_a \pi(a|s)\sum_{s',r} p(s',r|s,a)\times \Big(r+\gamma v_{\pi}(s')\Big)$$

Confessione finale, ho riso quando ho visto le persone sopra menzionate l'uso della legge dell'aspettativa totale. Quindi eccomi qui

Ci sono già molte risposte a questa domanda, ma la maggior parte comprende poche parole che descrivono cosa sta succedendo nelle manipolazioni. Ho intenzione di rispondere usando molte più parole, credo. Iniziare,

$$G_{t} \doteq \sum_{k=t+1}^{T} \gamma^{k-t-1} R_{k}$$

è definito nell'equazione 3.11 di Sutton e Barto, con un fattore di sconto costante e possiamo avere o , ma non entrambi. Poiché i premi, , sono variabili casuali, così è in quanto è semplicemente una combinazione lineare di variabili casuali.$0 \leq \gamma \leq 1$$T = \infty$$\gamma = 1$$R_{k}$$G_{t}$

$$\begin{align} v_\pi(s) & \doteq \mathbb{E}_\pi\left[G_t \mid S_t = s\right] \\ & = \mathbb{E}_\pi\left[R_{t+1} + \gamma G_{t+1} \mid S_t = s\right] \\ & = \mathbb{E}_{\pi}\left[ R_{t+1} | S_t = s \right] + \gamma \mathbb{E}_{\pi}\left[ G_{t+1} | S_t = s \right] \end{align}$$

Quest'ultima riga deriva dalla linearità dei valori di aspettativa. è la ricompensa che l'agente ottiene dopo aver intrapreso un'azione nel passaggio . Per semplicità, presumo che possa assumere un numero finito di valori . $R_{t+1}$$t$$r \in \mathcal{R}$

Lavora sul primo mandato. In parole, ho bisogno di calcolare i valori di aspettativa di dato che sappiamo che lo stato attuale è . La formula per questo è$R_{t+1}$$s$

$$\begin{align} \mathbb{E}_{\pi}\left[ R_{t+1} | S_t = s \right] = \sum_{r \in \mathcal{R}} r p(r|s). \end{align}$$

In altre parole, la probabilità della comparsa della ricompensa è condizionata dallo stato ; stati diversi possono avere ricompense diverse. Questa distribuzione è una distribuzione marginale di una distribuzione che conteneva anche le variabili e , l'azione intrapresa al tempo e lo stato al tempo dopo l'azione, rispettivamente:$r$$s$$p(r|s)$$a$$s'$$t$$t+1$

$$\begin{align} p(r|s) = \sum_{s' \in \mathcal{S}} \sum_{a \in \mathcal{A}} p(s',a,r|s) = \sum_{s' \in \mathcal{S}} \sum_{a \in \mathcal{A}} \pi(a|s) p(s',r | a,s). \end{align}$$

Dove ho usato , seguendo la convenzione del libro. Se quest'ultima uguaglianza è confusa, dimentica le somme, sopprime la (la probabilità ora sembra una probabilità comune), usa la legge della moltiplicazione e infine reintroduci la condizione su in tutti i nuovi termini. Ora è facile capire che il primo termine è$\pi(a|s) \doteq p(a|s)$$s$$s$

$$\begin{align} \mathbb{E}_{\pi}\left[ R_{t+1} | S_t = s \right] = \sum_{r \in \mathcal{R}} \sum_{s' \in \mathcal{S}} \sum_{a \in \mathcal{A}} r \pi(a|s) p(s',r | a,s), \end{align}$$

come richiesto. Passiamo al secondo termine, dove presumo che sia una variabile casuale che assume un numero finito di valori . Proprio come il primo termine:$G_{t+1}$$g \in \Gamma$

$$\begin{align} \mathbb{E}_{\pi}\left[ G_{t+1} | S_t = s \right] = \sum_{g \in \Gamma} g p(g|s). \qquad\qquad\qquad\qquad (*) \end{align}$$

Ancora una volta, "annulla marginalizzando" la distribuzione di probabilità scrivendo (di nuovo la legge della moltiplicazione)

$$\begin{align} p(g|s) & = \sum_{r \in \mathcal{R}} \sum_{s' \in \mathcal{S}} \sum_{a \in \mathcal{A}} p(s',r,a,g|s) = \sum_{r \in \mathcal{R}} \sum_{s' \in \mathcal{S}} \sum_{a \in \mathcal{A}} p(g | s', r, a, s) p(s', r, a | s) \\ & = \sum_{r \in \mathcal{R}} \sum_{s' \in \mathcal{S}} \sum_{a \in \mathcal{A}} p(g | s', r, a, s) p(s', r | a, s) \pi(a | s) \\ & = \sum_{r \in \mathcal{R}} \sum_{s' \in \mathcal{S}} \sum_{a \in \mathcal{A}} p(g | s', r, a, s) p(s', r | a, s) \pi(a | s) \\ & = \sum_{r \in \mathcal{R}} \sum_{s' \in \mathcal{S}} \sum_{a \in \mathcal{A}} p(g | s') p(s', r | a, s) \pi(a | s) \qquad\qquad\qquad\qquad (**) \end{align}$$

L'ultima riga qui dentro segue dalla proprietà Markovian. Ricorda che è la somma di tutti i premi futuri (scontati) che l'agente riceve dopo lo stato . La proprietà markoviana è che il processo è senza memoria rispetto a stati, azioni e ricompense precedenti. Le azioni future (e le ricompense che raccolgono) dipendono solo dallo stato in cui l'azione è intrapresa, quindi , per ipotesi. Ok, quindi il secondo termine della prova è adesso$G_{t+1}$ s ′ p ( g | s ′ , r , a , s ) = p ( g | s ′ )$s'$$p(g | s', r, a, s) = p(g | s')$

$$\begin{align} \gamma \mathbb{E}_{\pi}\left[ G_{t+1} | S_t = s \right] & = \gamma \sum_{g \in \Gamma} \sum_{r \in \mathcal{R}} \sum_{s' \in \mathcal{S}} \sum_{a \in \mathcal{A}} g p(g | s') p(s', r | a, s) \pi(a | s) \\ & = \gamma \sum_{r \in \mathcal{R}} \sum_{s' \in \mathcal{S}} \sum_{a \in \mathcal{A}} \mathbb{E}_{\pi}\left[ G_{t+1} | S_{t+1} = s' \right] p(s', r | a, s) \pi(a | s) \\ & = \gamma \sum_{r \in \mathcal{R}} \sum_{s' \in \mathcal{S}} \sum_{a \in \mathcal{A}} v_{\pi}(s') p(s', r | a, s) \pi(a | s) \end{align}$$

come richiesto, ancora una volta. La combinazione dei due termini completa la prova

$$\begin{align} v_\pi(s) & \doteq \mathbb{E}_\pi\left[G_t \mid S_t = s\right] \\ & = \sum_{a \in \mathcal{A}} \pi(a | s) \sum_{r \in \mathcal{R}} \sum_{s' \in \mathcal{S}} p(s', r | a, s) \left[ r + \gamma v_{\pi}(s') \right]. \end{align}$$

AGGIORNARE

Voglio affrontare quello che potrebbe sembrare un gioco di prestigio nella derivazione del secondo mandato. Nell'equazione contrassegnata con , utilizzo un termine e successivamente nell'equazione contrassegnata dichiaro che non dipende da , sostenendo la proprietà markoviana. Quindi, potresti dire che se questo è il caso, allora . Ma questo non è vero. Posso prendere perché la probabilità sul lato sinistro di quell'affermazione dice che questa è la probabilità di condizionata su , , e$(*)$$p(g|s)$$(**)$$g$$s$$p(g|s) = p(g)$$p(g | s', r, a, s) \rightarrow p(g | s')$$g$$s'$$a$$r$$s$. Perché noi sappiamo sia o assumere lo stato , nessuno degli altri condizionali importa, perché della proprietà Markoviano. Se non si conosce o assumere lo stato , poi i futuri benefici (il significato di ) dipenderà da quale stato di iniziare a, perché questo determinerà (in base alla politica), che lo stato si inizia a quando si calcola .$s'$$s'$$g$$s'$$g$

Se tale argomento non ti convince, prova a calcolare cos'è :$p(g)$

$$\begin{align} p(g) & = \sum_{s' \in \mathcal{S}} p(g, s') = \sum_{s' \in \mathcal{S}} p(g | s') p(s') \\ & = \sum_{s' \in \mathcal{S}} p(g | s') \sum_{s,a,r} p(s', a, r, s) \\ & = \sum_{s' \in \mathcal{S}} p(g | s') \sum_{s,a,r} p(s', r | a, s) p(a, s) \\ & = \sum_{s \in \mathcal{S}} p(s) \sum_{s' \in \mathcal{S}} p(g | s') \sum_{a,r} p(s', r | a, s) \pi(a | s) \\ & \doteq \sum_{s \in \mathcal{S}} p(s) p(g|s) = \sum_{s \in \mathcal{S}} p(g,s) = p(g). \end{align}$$

Come si può vedere nell'ultima riga, non è vero che . Il valore atteso di dipende dallo stato in cui si inizia (cioè dall'identità di ), se non si conosce o si assume lo stato .$p(g|s) = p(g)$$g$$s$$s'$