Qual è la differenza tra episodio ed epoca nell'apprendimento Q profondo?

Sto cercando di capire il famoso articolo "Giocando Atari con Deep Reinforcement Learning" ( pdf ). Non sono chiaro sulla differenza tra un'epoca e un episodio . Nell'algoritmo , il ciclo esterno è sopra episodi , mentre in figura l'asse x è etichettato epoca . Nel contesto dell'apprendimento per rinforzo, non sono chiaro cosa significhi un'epoca. Un'epoca è un anello esterno attorno al ciclo dell'episodio? $1$$2$

• un episodio = uno una sequenza di stati, azioni e ricompense, che termina con uno stato terminale. Ad esempio, giocare un intero gioco può essere considerato come un episodio, lo stato del terminale viene raggiunto quando un giocatore perde / vince / pareggia. A volte, si potrebbe preferire definire un episodio come diversi giochi ( esempio : "ogni episodio è un paio di dozzine di giochi, perché i giochi salgono al punteggio di 21 per entrambi i giocatori").
• uno un'epoca = un passaggio in avanti e un passaggio all'indietro tutti gli esempi di addestramento, nella terminologia rete neurale.

Nel documento che lei menziona, sembrano essere più flessibili riguardo al significato di epoca, in quanto definiscono solo un'epoca come una certa quantità di aggiornamenti di peso. Puoi quindi vedere un'epoca come un ciclo esterno attorno al ciclo dell'episodio, come hai menzionato nella domanda.