Q-learning con Neural Network come approssimazione della funzione

Sto cercando di utilizzare una rete neurale per approssimare il valore Q in Q-learning come in Domande sull'apprendimento Q utilizzando reti neurali . Come suggerito nella prima risposta, sto usando una funzione di attivazione lineare per il livello di output, mentre sto ancora usando la funzione di attivazione sigmoid nei livelli nascosti (2, anche se posso cambiarlo in seguito). Sto anche usando un singolo NN che restituisce un output per ogni azione come consigliato. $Q(a)$

Tuttavia, l'algoritmo è ancora divergente per il semplice problema di bilanciamento del carrello. Quindi, temo che il mio Q-update sia sbagliato. Dopo l'inizializzazione, ciò che ho fatto ad ogni passaggio è il seguente:

Calcola usando la propagazione diretta di NN per tutte le azioni. $Q_t(s_t)$
Seleziona una nuova azione, , atterra in un nuovo stato . $a_t$ $s_t$
Calcola usando la propagazione diretta di NN per tutte le azioni. $Q_t(s_{t+1})$
Imposta il valore Q target come: solo per l'azione corrente, $Q_{t+1}(s_t,a_t)=Q_t(s_t,a_t)+\alpha_t \left[r_{t+1}+\gamma \max_a Q(s_{t+1},a) - Q_t(s_t,a_t) \right]$ $a_t$ , impostando per gli altri stati. Nota, penso che questo sia il problema. $Q_{t+1}(s,a_t)=Q_{t}(s,a_t)$
Impostare il vettore dell'errore su $\mathbf{e}=Q_\mathrm{target}-Q_t=Q_{t+1}-Q_t$
Backpropagare l'errore tramite NN per aggiornare le matrici dei pesi.

Qualcuno potrebbe indicarmi dove ho sbagliato?

Inoltre, pensi che dovrei includere un termine di bias anche nel livello di input e nel primo livello nascosto (cioè per le funzioni sigmoid)? Farà la differenza?

Grazie mille in anticipo per il tuo aiuto. Posso aiutare a chiarire la domanda o condividere il codice, se necessario.

neural-networks reinforcement-learning

— Enrico Anderlini
fonte

Il tuo obiettivo dovrebbe essere giusto

$r_{t+1}+\gamma \max_a Q(s_{t+1},a)$

$r_{t+1}+\gamma \max_a Q(s_{t+1},a) - Q_t$

$Q$

— rcpinto
fonte

Q_{t}

$Q_t$

Tuttavia, il mio NN + Q-learning non sta ancora convergendo. Quindi, se il metodo è corretto, immagino che cercherò solo di giocare con il tasso di apprendimento e il numero di neuroni negli strati nascosti

— Enrico Anderlini

Sì, dovresti farlo (prova a utilizzare anche la funzione di trasferimento ReLU). Ma si noti che Q-Learning non ha garanzie di convergenza con l'approssimazione delle funzioni. Se il tuo prossimo tentativo non funziona, ti consigliamo di provare Advantage Learning. E infine, il problema potrebbe essere che i tuoi dati non sono iid. Quindi dovrai implementare Experience Replay.

— rcpinto,

Q_{t + 1}

$Q_{t+1}$

r_{t + 1}

$r_{t+1}$

No, è zero. Ma sarà lentamente propagato dai valori Q agli stati precedenti, perché il valore Q è una stima dei premi cumulativi futuri .

— rcpinto,