Il significato del fattore di sconto sull'apprendimento per rinforzo

Dopo aver letto i risultati di google deepmind sui giochi di Atari , sto cercando di capire q-learning e q-networks, ma sono un po 'confuso. La confusione sorge nel concetto del fattore di sconto. Breve riassunto di ciò che ho capito. Una rete neurale convoluzionale profonda viene utilizzata per stimare il valore del valore atteso ottimale di un'azione. La rete deve ridurre al minimo la funzione di perdita

$$L_i=\mathbb{E}_{s,a,r}\left[(\mathbb{E}_{s'}\left[y|s,a\right]-Q(s,a;\theta_i))^2\right]$$ dove$\mathbb{E}_{s'}\left[y|s,a\right]$ è $$\mathbb{E}\left[r+\gamma max_{a'} Q(s',a';\theta^-_i)\right|s,a]$$ Dove$Q$è un valore di punteggio cumulativo e$r$è il valore di punteggio per l'azione scelta. $s,a$e$s',a'$ sono rispettivamente lo stato e l'azione scelgono al tempo$t$ e lo stato e l'azione al tempo$t'$ . La$\theta^-_i$ sono i pesi della rete alla iterazione precedente. Il$\gamma$ è un fattore di sconto che tiene conto della differenza temporale dei valori del punteggio. Lasottoscrizione$i$ è il passaggio temporale. Il problema qui è capire perché$\gamma$ non dipende da$\theta$ .

Dal punto di vista matematico $\gamma$ è il fattore di sconto e rappresenta la probabilità di raggiungere lo stato $s'$ dallo stato $s$ .

Immagino che la rete effettivamente impari a ridimensionare la base al valore reale di γ , quindi perché non lasciare γ = 1 ?$Q$$\gamma$$\gamma=1$

Il fattore di sconto non rappresenta la probabilità di raggiungere lo stato $s′$ dallo stato $s$ . Sarebbe $p(s'|s,a)$ , che non viene utilizzato in Q-Learning, poiché è privo di modelli (solo i metodi di apprendimento di rinforzo basati su modelli utilizzano tali probabilità di transizione). Il fattore di sconto è un iperparametro sintonizzato dall'utente che rappresenta quanti eventi futuri perdono il loro valore in base a quanto sono lontani nel tempo. Nella formula indicata, stai dicendo che il valore per il tuo stato attuale$γ$$y$$s$è la ricompensa istantanea per questo stato più ciò che ti aspetti di ricevere in futuro a partire da . Ma quel termine futuro deve essere scontato, perché i premi futuri potrebbero non (se ) avere lo stesso valore di ricevere un premio in questo momento (proprio come preferiamo ricevere $ 100 ora anziché $ 100 domani). Sta a te scegliere quanto vuoi deprezzare i tuoi premi futuri (dipende dal problema). Un fattore di sconto pari a 0 significherebbe che ti interessano solo i premi immediati. Maggiore è il tuo fattore di sconto, più le tue ricompense si propagheranno nel tempo.$s$$γ < 1$

Ti suggerisco di leggere il libro di Sutton & Barto prima di provare Deep-Q al fine di apprendere l'apprendimento di rinforzo puro al di fuori del contesto delle reti neurali, il che potrebbe confonderti.