Comprendere l'apprendimento per rinforzo con la rete neurale (Q-learning)

Sto cercando di comprendere l'apprendimento per rinforzo e i processi decisionali markov (MDP) nel caso in cui una rete neurale venga utilizzata come approssimatore di funzioni.

Sto avendo difficoltà con la relazione tra MDP in cui l'ambiente viene esplorato in modo probabilistico, come questo si ricollega ai parametri di apprendimento e come si trovano la soluzione / le politiche finali.

È corretto supporre che, nel caso dell'apprendimento Q, la rete neurale agisca essenzialmente come un approssimatore di funzioni per il valore q stesso così tanti passi in futuro? In che modo questa mappa aggiorna i parametri tramite backpropagation o altri metodi?

Inoltre, una volta che la rete ha imparato a prevedere la ricompensa futura, in che modo si adatta al sistema in termini di prendere effettivamente decisioni? Suppongo che il sistema finale non realizzerebbe probabilisticamente transizioni di stato.

Grazie

In Q-Learning, ad ogni passaggio utilizzerai osservazioni e premi per aggiornare la tua funzione di valore Q:

Hai ragione nel dire che la rete neurale è solo un'approssimazione di funzione per la funzione valore q.

In generale, la parte di approssimazione è solo un problema di apprendimento supervisionato standard. La tua rete utilizza (s, a) come input e l'output è il valore q. Man mano che i valori q vengono adeguati, è necessario addestrare questi nuovi campioni alla rete. Tuttavia, troverai alcuni problemi mentre usi campioni correlati e SGD ne soffrirà.

Se stai guardando il documento DQN, le cose sono leggermente diverse. In tal caso, quello che stanno facendo è mettere dei campioni in un vettore (replay dell'esperienza). Per insegnare alla rete, campionano tuple dal vettore, bootstrap usando queste informazioni per ottenere un nuovo valore q che viene insegnato alla rete. Quando dico insegnamento, intendo regolare i parametri di rete usando la discesa gradiente stocastica o il tuo approccio di ottimizzazione preferito. Non insegnando i campioni nell'ordine che vengono raccolti dalla polizza li decorrelano e ciò aiuta nella formazione.

Infine, per prendere una decisione sullo stato , scegli l'azione che fornisce il valore q più alto:$s$

Se la funzione del valore Q è stata appresa completamente e l'ambiente è fermo, va bene essere avidi a questo punto. Tuttavia, mentre impari, devi esplorare. Esistono diversi approcci essendo -greedy uno dei modi più semplici e più comuni.$\varepsilon$