Perché l'algoritmo di iterazione delle politiche converge in criteri e valori ottimali?

Stavo leggendo gli appunti di Andrew Ng sull'apprendimento per rinforzo e stavo cercando di capire perché l'iterazione politica convergesse alla funzione di valore ottimale e politica ottimale .$V^*$$\pi^*$

L'iterazione della politica di richiamo è:

$\text{Initialize $\pi$ randomly} \\ \text{Repeat}\{\\ \quad Let \ V := V^{\pi} \text{ \\for the current policy, solve bellman's eqn's and set that to the current V}\\ \quad Let \ \pi(s) := argmax_{a \in A} \sum_{s'}P_{sa}(s') V(s')\\ \}$

Perché un algoritmo goloso porta a una politica ottimale e alla funzione di valore ottimale? (So ​​che algoritmi avidi non sempre lo garantiscono, o potrebbero rimanere bloccati negli optima locali, quindi volevo solo vedere una prova della sua ottimalità dell'algoritmo).

Inoltre, mi sembra che l'iterazione politica sia qualcosa di analogo al clustering o alla discesa gradiente. Al clustering, perché con l'attuale impostazione dei parametri, ottimizziamo. Simile alla discesa del gradiente perché sceglie solo un valore che sembra aumentare alcune funzioni. Questi due metodi non convergono sempre in massimi ottimali e stavo cercando di capire come questo algoritmo fosse diverso dai precedenti che ho menzionato.

---

Questi sono i miei pensieri finora:

Supponiamo che iniziamo con una politica , quindi dopo il primo passaggio, per quella politica fissa abbiamo che:$\pi_1$

$V^{\pi_1}(s) = R(s) + \gamma \sum_{s'}P_{s\pi_1(s)}(s')V^{\pi_1}(s')$

$V^{(1)} := V^{\pi_1}(s)$

Dove V ^ {(1)} è la funzione valore per la prima iterazione. Quindi dopo il secondo passaggio scegliamo alcune nuove politiche per aumentare il valore di . Ora, con la nuova politica , se facciamo il secondo passo dell'algoritmo, vale la seguente disuguaglianza:$\pi_2$$V^{\pi_1}(s)$$\pi_2$

$R(s) + \gamma \sum_{s'}P_{s\pi_1(s)}(s')V^{\pi_1}(s') \leq R(s) + \gamma \sum_{s'}P_{s\pi_2(s)}(s')V^{\pi_1}(s')$

Poiché scegliamo nel secondo passaggio per aumentare la funzione valore nel passaggio precedente (ovvero per migliorare . Finora, è chiaro che la scelta di può solo aumentare V ^ {(1)}, perché è così che scegliamo . Tuttavia, la mia confusione arriva nel passaggio di ripetizione, poiché una volta ripetuti e tornati al passaggio 1, in realtà cambiamo completamente le cose perché ricalcoliamo per la nuova politica . Che dà:$\pi_2$$V^{(1)}$$\pi_2$$\pi_2$$V^{2}$$\pi_2$

$V^{\pi_2}(s) = R(s) + \gamma \sum_{s'}P_{s\pi_2(s)}(s')V^{\pi_2}(s')$

ma NON è:

$V^{\pi_1}(s) = R(s) + \gamma \sum_{s'}P_{s\pi_2(s)}(s')V^{\pi_1}(s')$

Il che sembra essere un problema perché stato scelto per migliorare e non questo nuovo . Fondamentalmente il problema è che garantisce di migliorare facendo invece di quando la funzione valore è . Ma nel passaggio ripetuto cambiamo in , ma non vedo come ciò garantisca che la funzione valore migliora monotonicamente ad ogni ripetizione perché stato calcolato per migliorare la funzione valore quando le funzioni valore rimangono su$\pi_2$$V^{(1)}$$V^{\pi_2}$$pi_2$$R(s) + \gamma \sum_{s'}P_{s\pi_1(s)}(s')V^{\pi_1}(s')$$\pi_2$$pi_1$$V^{\pi_1}$$V^{\pi_1}$$V^{\pi_2}$$\pi_2$$V^{\pi_1}$ V π 1, ma il passaggio 1 modifica in (il che è negativo perché I migliorato solo la precedente funzione di valore che avevamo).$V^{\pi_1}$$V^{\pi_2}$$\pi_2$

Penso che la parte che ti manca sia che è garantito per lo stesso motivo per cui possiamo ordinare π 2 ≥ π 1 . Questa è essenzialmente la definizione di una politica migliore di un'altra - che la sua funzione di valore è maggiore o uguale in tutti gli stati. Lo hai garantito scegliendo le azioni di massimizzazione: nessun valore di stato può eventualmente essere peggiore di prima, e se solo una scelta di azione è cambiata per scegliere un'azione di massimizzazione migliore, allora sai già (ma potresti non aver calcolato) che il V π 2 ( s ) per quello stato sarà più alto di quanto non fosse per$V^{\pi_2} \ge V^{\pi_1}$$\pi_2 \ge \pi_1$$V^{\pi_2}(s)$ .$V^{\pi_1}(s)$

Quando scegliamo di massimizzare i risultati per generare , non sappiamo quale sarà il nuovo V π 2 ( s ) per qualsiasi stato, ma sappiamo che ∀ s : V π 2 ( s ) ≥ V π 1 ( s ) .$\pi_2$$V^{\pi_2}(s)$$\forall s: V^{\pi_2}(s) \ge V^{\pi_1}(s)$

Pertanto, tornando indietro nel ciclo e calcolando per la nuova politica, si garantisce che abbia valori uguali o superiori a prima e quando si tratta di aggiornare nuovamente la politica, π 3 ≥ π 2 ≥ π 1 .$V^{\pi_2}$$\pi_3 \ge \pi_2 \ge \pi_1$

Per prima cosa vediamo perché l'algoritmo di Iterazione delle politiche funziona. Ha due passaggi.

Fase di valutazione delle politiche:

è la forma vettoriale generale del sistema di equazioni lineari.$v_n = r_{d_n} + \gamma P_{d_n}v_n$

Qui, i termini sono premi immediati e righe corrispondenti della matrice di transizione.$r_{d_n}, P_{d_n}$

Questi termini dipendono dalla politica $\Pi_n$

Risolvendo il sistema di equazioni sopra riportato possiamo trovare i valori di $v_n$

Fase di miglioramento delle politiche:

Supponiamo che siamo riusciti a trovare una nuova politica tale che$\Pi_{n+1}$

$$\begin{align} r_{d_n+1} + \gamma P_{d_n+1}v_n & \ge r_{d_n} + \gamma P_{d_n}v_n \\ \implies r_{d_n+1} & \ge [I - \gamma P_{d_n+1}]v_n \quad \text{say this is eqn. 1}\\ \end{align}$$

Ora, in base alla nuova politica , possiamo trovare v n + 1 = r d n + 1 + γ P d n + 1 v n + 1 , diciamo che questa è l'equazione 2.$\Pi_{n+1}$$v_{n+1} = r_{d_{n+1}} + \gamma P_{d_{n+1}}v_{n+1}$

Mostreremo che ;$v_{n+1} \ge v_n$

cioè essenzialmente per tutti gli stati, la nuova politica scelta dà un valore migliore rispetto alla precedente politica Π $\Pi_{n+1}$$\Pi_{n}$

Prova:

Da, equazione 2, abbiamo,

$[I - \gamma P_{d_{n+1}}]v_{n+1} = r_{d_n+1}$

$1 \&2$

$v_{n+1} \ge v_{n}$

In sostanza, i valori aumentano monotonicamente ad ogni iterazione.

Questo è importante per capire perché l'Interazione politica non sarà bloccata al massimo locale.

Una politica non è altro che uno spazio di azione statale.

$\Pi_{n+1}$$\Pi_{n}$$\quad r_{d_n+1} + \gamma P_{d_n+1}v_n \ge r_{d_n} + \gamma P_{d_n}v_n$

$\Pi^*$$\Pi^\#$

$v_* \ge v_\#$

Supponiamo che l'algoritmo sia bloccato sull'ottimale locale.

$\Pi^\#$$\Pi^*$$\Pi^\#$$v_{*}$$v_{\#}$

o, in altre parole,

$[I-\gamma P_{d_*}]v_* \ge [I-\gamma P_{d_*}]v_{\#}$

$\implies r_{d_*} \ge [I-\gamma P_{d_*}]v_{\#}$

$\implies r_{d_*} + \gamma P_{d_*}v_{\#} \ge v_{\#}$

$\implies r_{d_*} + \gamma P_{d_*}v_{\#} \ge r_{d_\#} + \gamma P_{d_\#}v_\#$

Pertanto, l'iterazione della politica non si ferma a un livello ottimale locale