Cos'è la funzione Q e qual è la funzione V nell'apprendimento per rinforzo?

Mi sembra che la funzione $V$ possa essere facilmente espressa dalla funzione $Q$ e quindi la funzione $V$ sembra superflua. Tuttavia, sono nuovo nell'apprendimento del rinforzo, quindi credo di aver sbagliato qualcosa.

definizioni

L'apprendimento Q e V sono nel contesto dei processi decisionali di Markov . Un MDP è una 5 tupla $(S, A, P, R, \gamma)$ con

• $S$ è un insieme di stati (tipicamente finito)
• $A$ è un insieme di azioni (tipicamente finito)
• s s ′$P(s, s', a) = P(s_{t+1} = s' | s_t = s, a_t = a)$ è la probabilità di passare dallo stato allo stato con l'azione .$s$$s'$$a$
• $R(s, s', a) \in \mathbb{R}$ è la ricompensa immediata dopo essere passati dallo stato allo stato con l'azione . (Mi sembra che di solito solo questioni).$s$ a s $s'$$a$$s'$
• $\gamma \in [0, 1]$ è chiamato fattore di sconto e determina se ci si concentra sui premi immediati ( $\gamma = 0$ ), sulla ricompensa totale ( $\gamma = 1$ ) o su alcuni trade-off.

Una politica $\pi$ , secondo Reinforcement Learning: An Introduction di Sutton and Barto è una funzione $\pi: S \rightarrow A$ (questo potrebbe essere probabilistico).

Secondo le diapositive Mario Martins , la funzione $V$ è

$$V^\pi(s) = E_\pi \{R_t | s_t = s\} = E_\pi \{\sum_{k=0}^\infty \gamma^k r_{t+k+1} | s_t = s\}$$ e la funzione Q è $$Q^\pi(s, a) = E_\pi \{R_t | s_t = s, a_t = a\} = E_\pi \{\sum_{k=0}^\infty \gamma^k r_{t+k+1} | s_t = s, a_t=a\}$$

I miei pensieri

Le stati di funzionamento quale sia il valore complessivo atteso (non ricompensa!) Di uno stato s nel quadro della politica π è.$V$$s$$\pi$

I stati di funzionamento quale sia il valore di uno stato s e un'azione di un quadro della politica π è.$Q$$s$$a$$\pi$

Ciò significa che

$$Q^\pi(s, \pi(s)) = V^\pi(s)$$

Destra? Quindi perché abbiamo la funzione valore? (Immagino di aver confuso qualcosa)

I valori Q sono un ottimo modo per rendere esplicite le azioni in modo da poter affrontare i problemi in cui la funzione di transizione non è disponibile (senza modello). Tuttavia, quando lo spazio d'azione è grande, le cose non sono così belle e i valori Q non sono così convenienti. Pensa a un numero enorme di azioni o persino a spazi d'azione continui.

Dal punto di vista del campionamento, la dimensionalità di $Q(s, a)$ è superiore a $V(s)$ quindi potrebbe essere più difficile ottenere abbastanza $(s, a)$ campioni rispetto a $(s)$ . Se hai accesso alla funzione di transizione a volte $V$ è buono.

Ci sono anche altri usi in cui entrambi sono combinati. Ad esempio, la funzione di vantaggio in cui $A(s, a) = Q(s, a) - V(s)$ . Se sei interessato, puoi trovare un esempio recente usando le funzioni di vantaggio qui:

Duellare le architetture di rete per l'apprendimento di rinforzo profondo

di Ziyu Wang, Tom Schaul, Matteo Hessel, Hado van Hasselt, Marc Lanctot e Nando de Freitas.

$V^\pi(s)$ è la funzione valore-stato di MDP (Markov Decision Process). E 'il rendimento atteso a partire da stato$s$ seguente politica$\pi$ .

Nell'espressione

$$V^\pi(s) = E_\pi \{G_t | s_t = s\}$$

$G_t$ è il premio SCONTATO totale dal passaggio temporale$t$ , al contrario di$R_t$ che è un ritorno immediato. Qui state prendendo le aspettative di TUTTE le azioni secondo la politica$\pi$ .

$Q^\pi(s, a)$ è la funzione valore-azione. È il rendimento atteso a partire dallo stato$s$ , seguendo la politica$\pi$ , intervenendo$a$ . Si sta concentrando sull'azione particolare in quel particolare stato.

$$Q^\pi(s, a) = E_\pi \{G_t | s_t = s, a_t = a\}$$

La relazione tra $Q^\pi$ e $V^\pi$ (il valore di essere in quello stato) è

$$V^\pi(s) = \sum_{a ∈ A} \pi (a|s) * Q^\pi(a,s)$$

Sommi ogni valore di azione moltiplicato per la probabilità di compiere quell'azione (la politica $\pi(a|s)$ ).

Se si pensa all'esempio del mondo della griglia, si moltiplica la probabilità di (su / giù / destra / sinistra) con il valore di stato di un passo avanti di (su / giù / destra / sinistra).

Hai ragione, la funzione $V$ ti dà il valore di uno stato e $Q$ ti dà il valore di un'azione in uno stato (seguendo una data politica $\pi$ ). Ho trovato la spiegazione più chiara del Q-learning e di come funziona nel libro di Tom Mitchell "Machine Learning" (1997), cap. 13, che è scaricabile. $V$ è definita come la somma di una serie infinita, ma qui non è importante. Ciò che conta è la funzione $Q$ definita come

$$Q(s,a ) = r(s,a ) + \gamma V^{*}(\delta(s,a))$$ dove V * è il miglior valore di uno stato se potessi seguire una politica ottimale che non conosci. Tuttavia ha una buona caratterizzazione in termini di$Q$ $$V^{*}(s)= \max_{a'} Q(s,a')$$ calcolo$Q$ viene effettuato sostituendo$V^*$nella prima equazione per dare $$Q(s, a) = r(s, a) + \gamma \max_{a'} Q(\delta(s, a), a')$$

All'inizio può sembrare una strana ricorsione perché esprime il valore Q di un'azione nello stato corrente in termini del miglior valore Q di uno stato successore , ma ha senso quando si osserva come lo utilizza il processo di backup: l'esplorazione il processo si interrompe quando raggiunge uno stato obiettivo e raccoglie la ricompensa, che diventa il valore Q di quella transizione finale. Ora, in un episodio di addestramento successivo, quando il processo di esplorazione raggiunge quello stato precedente, il processo di backup utilizza l'uguaglianza di cui sopra per aggiornare l'attuale valore Q dello stato precedente. La prossima volta la suaviene visitato il predecessore che il valore Q dello stato viene aggiornato e così via. A condizione che ogni stato venga visitato all'infinito spesso questo processo alla fine calcola la Q ottimale

A volte vedrai una frequenza di apprendimento $\alpha$ applicata per controllare la quantità di Q effettivamente aggiornata:

$$Q(s, a) = (1-\alpha)Q(s, a) + \alpha(r(s, a) + \gamma \max_{a'} Q(s',a'))$$ $$= Q(s, a) + \alpha(r(s, a) + \gamma \max_{a'} Q(s',a') - Q(s,a))$$ $\alpha$$\alpha$$\alpha$ is there so that as the new knowledge is only accepted in part. Initially $\alpha$ is set high so that the current (mostly random values) of Q are less influential. $\alpha$ is decreased as training progresses, so that new updates have less and less influence, and now Q learning converges

Here is a more detailed explanation of the relationship between state value and action value in Aaron's answer. Let's first take a look at the definitions of value function and action value function under policy $\pi$:

$$\begin{align} &v_{\pi}(s)=E{\left[G_t|S_t=s\right]} \\ &q_{\pi}(s,a)=E{\left[G_t|S_t=s, A_t=a\right]} \end{align}$$ where $G_t=\sum_{k=0}^{\infty}\gamma^kR_{t+k+1}$ is the return at time $t$. The relationship between these two value functions can be derived as $$\begin{align} v_{\pi}(s)&=E{\left[G_t|S_t=s\right]} \nonumber \\ &=\sum_{g_t} p(g_t|S_t=s)g_t \nonumber \\ &= \sum_{g_t}\sum_{a}p(g_t, a|S_t=s)g_t \nonumber \\ &= \sum_{a}p(a|S_t=s)\sum_{g_t}p(g_t|S_t=s, A_t=a)g_t \nonumber \\ &= \sum_{a}p(a|S_t=s)E{\left[G_t|S_t=s, A_t=a\right]} \nonumber \\ &= \sum_{a}p(a|S_t=s)q_{\pi}(s,a) \end{align}$$ The above equation is important. It describes the relationship between two fundamental value functions in reinforcement learning. It is valid for any policy. Moreover, if we have a deterministic policy, then $v_{\pi}(s)=q_{\pi}(s,\pi(s))$. Hope this is helpful for you. (to see more about Bellman optimality equation https://stats.stackexchange.com/questions/347268/proof-of-bellman-optimality-equation/370198#370198)

The value function is an abstract formulation of utility. And the Q-function is used for the Q-learning algorithm.