Perché esiste sempre almeno una politica migliore o uguale a tutte le altre politiche?

Apprendimento per rinforzo: un'introduzione. Seconda edizione, in corso ., Richard S. Sutton e Andrew G. Barto (c) 2012, pp. 67-68.

Risolvere un compito di apprendimento di rinforzo significa, approssimativamente, trovare una politica che ottenga molti premi nel lungo periodo. Per gli MDP finiti, possiamo definire con precisione una politica ottimale nel modo seguente. Le funzioni di valore definiscono un ordinamento parziale rispetto alle politiche. Una politica $\pi$ è definito per essere maggiore o uguale ad una politica $\pi'$ se rendimento atteso è maggiore o uguale a quella di $\pi'$ , per tutti gli stati. In altre parole, $\pi \geq \pi'$ se e solo se $v_\pi(s) \geq v_{\pi'}(s)$ , per tutte le $s \in \mathcal{S}$ . Esiste sempre almeno una politica migliore o uguale a tutte le altre politiche. Questa è una politica ottimale.

Perché esiste sempre almeno una politica migliore o uguale a tutte le altre politiche?

Appena passato la parte citata, lo stesso paragrafo in realtà ti dice qual è questa politica: è quella che prende la migliore azione in ogni stato. In un MDP, l'azione che intraprendiamo in uno stato non influenza i premi per le azioni intraprese in altri, quindi possiamo semplicemente massimizzare la politica stato per stato.

L'esistenza di una politica ottimale non è evidente. Per capire perché, nota che la funzione valore fornisce solo un ordinamento parziale nello spazio delle politiche. Questo significa:

$$\pi' \geq \pi \iff v_{\pi'}(s) \geq v_{\pi}(s), \forall s \in S$$

Poiché questo è solo un ordinamento parziale, potrebbe esserci un caso in cui due politiche, e π 2 , non sono comparabili. In altre parole, ci sono sottoinsiemi dello spazio degli stati, S 1 e S 2 tali che:$\pi_1$$\pi_2$$S_1$$S_2$

$$v_{\pi'}(s) \geq v_{\pi}(s), \forall s \in S_1$$

$$v_{\pi}(s) \geq v_{\pi'}(s),\forall s \in S_2$$

In questo caso, non possiamo dire che una politica sia migliore dell'altra. Ma se abbiamo a che fare con MDP finiti con funzioni a valore limitato, allora tale scenario non si verifica mai. Esiste esattamente una funzione di valore ottimale, sebbene possano esserci più politiche ottimali.

Per una prova di questo, è necessario comprendere il teorema del punto fisso di Banach. Per un'analisi dettagliata, fare riferimento .

$\newcommand{\mc}{\mathcal} \newcommand{\mb}{\mathbb}$

Ambientazione

Stiamo considerando nella cornice di:

• Azioni discrete
• Stati discreti
• Ricompense limitate
• Stationary policy
• Infinite horizon

The optimal policy is defined as:

$$\pi^\ast \in \arg \max_\pi V^\pi(s), \forall s \in \mc{S} \tag{1}$$ and the optimal value function is: $$V^\ast = \max_\pi V^\pi (s), \forall s \in \mc S \tag{2}$$ There can be a set of policies which achieve the maximum. But there is only one optimal value function: $$V^\ast = V^{\pi^\ast} \tag{3}$$

The question

How to prove that there exists at least one $\pi^\ast$ which satisfies (1) simultaneously for all $s \in \mc{S}$ ?

Outline of proof

1. Construct the optimal equation to be used as a temporary surrogate definition of optimal value function, which we will prove in step 2 that it is equivalent to the definition via Eq.(2).

   $$V^\ast(s) = \max_{a \in \mc A} [ R(s, a) + \gamma \, \sum_{s^\prime \in \mc S} T(s, a, s^\prime) V^\ast(s^\prime)] \tag{4}$$

2. Deriva l'equivalenza della definizione della funzione di valore ottimale tramite l'Eq. (4) e tramite l'Eq. (2).

   (Notate infatti abbiamo solo bisogno della direzione della necessità nella dimostrazione, perché la sufficienza è ovvia poiché abbiamo costruito l'Eq. (4) dall'Eq. (2).)

3. Prova che esiste una soluzione unica all'Eq. (4).

4. Dal passaggio 2, sappiamo che la soluzione ottenuta nel passaggio 3 è anche una soluzione all'equazione (2), quindi è una funzione di valore ottimale.

5. Da una funzione di valore ottimale, possiamo recuperare una politica ottimale scegliendo l'azione del massimizzatore nell'Eq. (4) per ogni stato.

Dettagli dei passaggi

1

Since $V^\ast(s) = V^{\pi^\ast}(s) = \mb E_a [Q^{\pi^\ast}(s, a)]$, we have $V^{\pi^\ast}(s) \le \max_{a \in \mc A} Q^{\pi^\ast} (s, a)$. And if there is any $\tilde{s}$ such that , possiamo scegliere una politica migliore massimizzandoQ ∗ (s,a)=Q π ∗ (s,a)su$V^{\pi^\ast} \neq \max_{a \in \mc A} Q^{\pi^\ast} (s, a)$$Q^{\ast} (s, a) = Q^{\pi^\ast} (s, a)$$a$ .

2

(=>)

Segue il passaggio 1.

(<=)

cioè se soddisfa ˜ V ( s ) = max a ∈ A [ R ( s , a ) + $\tilde V$$\tilde V(s) = \max_{a \in \mc A} [ R(s, a) + \gamma \, \sum_{s^\prime \in \mc S} T(s, a, s^\prime) \tilde V(s^\prime)]$, then $\tilde V(s) = V^\ast(s) = \max_\pi V^\pi(s), \forall s \in \mc S$.

Define the optimal Bellman operator as

$$\mc T V(s) = \max_{a \in \mc A} [ R(s, a) + \gamma \, \sum_{s^\prime \in \mc S} T(s, a, s^\prime) V(s^\prime)] \tag{5}$$ So our goal is to prove that if $\tilde V = \mc T \tilde V$, then $\tilde V = V^\ast$. We show this by combining two results, following Puterman[1]:

a) If $\tilde V \ge \mc T \tilde V$, then $\tilde V \ge V^\ast$.

b) If $\tilde V \le \mc T \tilde V$, then $\tilde V \le V^\ast$.

Proof:

a)

For any $\pi = (d_1, d_2, ...)$,

$$\begin{align} \tilde V &\ge \mc T \tilde V = \max_{d} [ R_d + \gamma \, P_d \tilde V] \\ &\ge R_{d_1} + \gamma \, P_{d_1} \tilde V \\ \end{align}$$ Here $d$ is the decision rule(action profile at specific time), $R_d$ is the vector representation of immediate reward induced from $d$ and $P_d$ is transition matrix induced from $d$.

By induction, for any $n$,

$$\tilde V \ge R_{d_1} + \sum_{i=1}^{n-1} \gamma^i P_\pi^i R_{d_{i+1}} + \gamma^n P_\pi^n \tilde V$$ where $P_\pi^j$ represents the $j$-step transition matrix under $\pi$.

Since

$$V^\pi = R_{d_1} + \sum_{i=1}^{\infty}\gamma^i P_\pi^i R_{d_{i+1}}$$ we have $$\tilde V - V^\pi \ge \underbrace{\gamma^n P_\pi^n \tilde V -\sum_{i=n}^{\infty}\gamma^i P_\pi^i R_{d_{i+1}}}_{\rightarrow 0 \ \text{as}\ n\rightarrow \infty}$$ So we have $\tilde V \ge V^\pi$. And since this holds for any $\pi$, we conclude that $$\tilde V \ge \max_\pi V^\pi = V^\ast$$ b)

Follows from step 1.

3

The optimal Bellman operator is a contraction in $L_\infty$ norm, cf. [2].

Proof: For any $s$,

$$\begin{align} \left\vert \mc T V_1(s) - \mc TV_2(s) \right\vert &= \left\vert \max_{a \in \mc A} [ R(s, a) + \gamma \, \sum_{s^\prime \in \mc S} T(s, a, s^\prime) V_1(s^\prime)] -\max_{a^\prime \in \mc A} [ R(s, a^\prime) + \gamma \, \sum_{s^\prime \in \mc S} T(s, a^\prime, s^\prime) V(s^\prime)]\right\vert \\ &\overset{(*)}{\le} \left\vert \max_{a \in \mc A} [\gamma \, \sum_{s^\prime \in \mc S} T(s, a, s^\prime) (V_1(s^\prime) - V_2(s^\prime))] \right\vert \\ &\le \gamma \Vert V_1 - V_2 \Vert_\infty \end{align}$$ where in (*) we used the fact that $$\max_a f(a) - \max_{a^\prime} g(a^\prime) \le \max_a [f(a) - g(a)]$$

Thus by Banach fixed point theorum it follows that $\mc T$ has a unique fixed point.

References

[1] Puterman, Martin L.. “Markov Decision Processes : Discrete Stochastic Dynamic Programming.” (2016).

[2] A. Lazaric. http://researchers.lille.inria.fr/~lazaric/Webpage/MVA-RL_Course14_files/slides-lecture-02-handout.pdf

The policy $a=\pi(s)$ gives the best action $a$ to execute in state $s$ according to policy $\pi$, i.e. the value function $v_\pi(s)=\max_{a \in A} q_\pi (s,a)$ is highest for action $a$ in state $s$.

There is always at least one policy that is better than or equal to all other policies.

Thus there is always a policy $\pi_*$ which gives equal or higher expected rewards than policy $\pi$. Note that this implies that $\pi$ could be an/the optimal policy ($\pi_*$) itself.