Perché la linea di base è condizionata dallo stato in alcuni timestep imparziale?

In robotica, la tecnica di apprendimento del rinforzo viene utilizzata per trovare il modello di controllo per un robot. Sfortunatamente, la maggior parte dei metodi di gradiente politico sono statisticamente di parte che potrebbero portare il robot in una situazione pericolosa, vedere pagina 2 in Jan Peters e Stefan Schaal: Apprendimento rafforzato delle abilità motorie con gradienti politici, 2008

Con l'apprendimento motorio primitivo, è possibile superare il problema poiché l'ottimizzazione dei parametri del gradiente delle politiche indirizza i passi di apprendimento verso l'obiettivo.

citazione: “Se la stima del gradiente è imparziale e i tassi di apprendimento soddisfano la somma (a) = 0, il processo di apprendimento è garantito per convergere ad almeno un minimo locale [...] Pertanto, dobbiamo stimare il gradiente della politica solo dai dati generati durante l'esecuzione di un'attività. "(Pagina 4 della stessa carta)

Nei compiti a casa per la classe R di Berkeley Problema 1, ti chiede di mostrare che il gradiente della politica è ancora imparziale se la linea di base sottratta è una funzione dello stato al momento t t.

Sto lottando per capire quale potrebbe essere il primo passo di tale prova. Qualcuno può indicarmi la giusta direzione? Il mio pensiero iniziale era di usare in qualche modo la legge dell'aspettativa totale per subordinare l'aspettativa di b (st) a T, ma non ne sono sicuro. Grazie in anticipo :)

_{collegamento al png originale dell'equazione}

Utilizzando la legge delle aspettative ripetute si ha:

$\triangledown _\theta \sum_{t=1}^T \mathbb{E}_{(s_t,a_t) \sim p(s_t,a_t)} [b(s_t)] = \nabla_\theta \sum_{t=1}^T \mathbb{E}_{s_t \sim p(s_t)} \left[ \mathbb{E}_{a_t \sim \pi_\theta(a_t | s_t)} \left[ b(s_t) \right]\right] =$

scritto con integrali e spostando il gradiente all'interno (linearità) si ottiene

$= \sum_{t=1}^T \int_{s_t} p(s_t) \left(\int_{a_t} \nabla_\theta b(s_t) \pi_\theta(a_t | s_t) da_t \right)ds_t =$

ora puoi spostare (a causa della linearità) e (non dipende da ) interno a quello esterno:$\nabla_\theta$$b(s_t)$$a_t$

$= \sum_{t=1}^T \int_{s_t} p(s_t) b(s_t) \nabla_\theta \left(\int_{a_t} \pi_\theta(a_t | s_t) da_t \right)ds_t=$

$\pi_\theta(a_t | s_t)$ è una funzione (condizionale) di densità di probabilità, quindi l'integrazione su tutto per un dato stato fisso uguale a :$a_t$$s_t$$1$

$= \sum_{t=1}^T \int_{s_t} p(s_t) b(s_t) \nabla_\theta 1 ds_t =$

Ora , che conclude la prova.$\nabla_\theta1 = 0$

Sembra che i compiti fossero dovuti due giorni prima della stesura di questa risposta, ma nel caso in cui sia ancora rilevante in qualche modo, le note di classe pertinenti (che sarebbero state utili se fornite nella domanda insieme ai compiti) sono qui .

La prima istanza di aspettativa posta sullo studente è: "Per favore, mostra l'equazione 12 usando la legge delle aspettative iterate, rompendo disaccoppiando l'azione statale marginale dal resto della traiettoria ". L'equazione 12 è questa.$\mathbb{E}_{\tau \sim p \theta(\tau)}$

$\sum_{t = 1}^{T} E_{\tau \sim p \theta(\tau)} [\nabla_\theta \log \pi_\theta(a_t|s_t)(b(s_t))] = 0$

Le note della classe identificano come il marginale stato-azione. Non è una prova richiesta, ma una sequenza di passaggi algebrici per eseguire il disaccoppiamento e mostrare fino a che punto si può raggiungere l'indipendenza del marginale stato-azione.$\pi_\theta(a_t|s_t)$

Questo esercizio è una preparazione per il prossimo passo nei compiti a casa e si basa solo sulla revisione di CS189, il corso di Introduzione all'apprendimento automatico di Burkeley, che non contiene la Legge delle aspettative totali nel suo programma o nelle note di classe.

Tutte le informazioni rilevanti si trovano nel link sopra per le note di classe e richiedono solo algebra intermedia.