Perché la lettera Q è stata scelta in Q-learning?

Perché la lettera Q è stata scelta nel nome di Q-learning?

La maggior parte delle lettere viene scelta come abbreviazione, come sta per policy e sta per value. Ma non penso che Q sia un'abbreviazione di nessuna parola. $\pi$ $v$

— disegnare
fonte

Nella mia comprensione metaforica, Q è una funzione che associa una quantità (chiamala ricompensa, costo o qualsiasi altra cosa venga ottimizzata) per un'azione in un determinato stato.

— Knk

@sycorax la domanda originale incorniciata implicava una comprensione del Q-learning e, al fine di offrire una spiegazione, aiuterebbe ad aggiungere contesto. Il PO sarebbe perso con qualsiasi spiegazione senza stabilire una messa a terra.

— Knk,

Il metaforico Q = Quantity aiuta? Lo considero come una quantificazione dell'azione dato gli stati

— knk

Risposte:

Mi dispiace deludere tutti, ma Q non rappresenta nulla :)

Il Q-learning è stato proposto da Watkins nella sua tesi di dottorato nel 1989, vedi p. 96. La Q nell'equazione in quella pagina viene aggiornata in un certo modo ad ogni passaggio. Q è il ritorno atteso dall'azione in un determinato stato, vedere la definizione di Q a pag.46. Il ritorno è in senso economico o di teoria dei giochi, vale a dire premi scontati ponderati per la probabilità, non un termine di informatica come un ritorno da una funzione.

Nota come ha già usato P per probabilità e R per ricompensa, quindi ha afferrato Q per il ritorno. Questo è tutto. Non esiste un significato più profondo per la scelta di una lettera Q.

— Aksakal
fonte

Nessun significato più profondo, ma è un significato (che Q si adatta a P e R nell'alfabeto) e rappresenta qualcosa .

— Sesto Empirico,

@MartijnWeterings Non è affatto un significato. È una scelta di lettere puramente sintattica, senza considerazioni semantiche di sorta.

— David Richerby,

Certo, ci possono essere poche considerazioni semantiche (e questo potrebbe essere discusso perché differenze tra lettere latine o greche, lettere in diverse posizioni dell'alfabeto o lettere maiuscole contro lettere minuscole potrebbero formare un'area grigia tra sintattica e semantica). Considero la scelta di Q come "significativa" perché la forma della lettera (che è in qualche modo arbitraria) esprime in qualche modo il significato della variabile / parametro. Il significato si riferisce alla scelta della lettera. Non ci sarebbe stata una buona scelta quando sarebbe stato scelto u o v, oppure i, j, k o x, y, z o

α, β, γ

$\alpha, \beta, \gamma$

— Sesto Empirico

@MartijnWeterings, Q suona anche come una coda , che porta anche connotazioni in qualche modo rilevanti

— Aksakal

@Aksakal, questo potrebbe aver rafforzato l'uso di Q. Ma non credo sia forte. Non so molto su questo argomento, ma in una rapida panoramica di quella tesi per me sembra molto plausibile che la lettera

sia stata usata per una quantità come

. Alla fine è stato dato "qualche nome" come "valore-azione", ma quelle lettere usate in quella tesi sembrano aderire molto più all'alfabeto. Ad esempio

per funzioni

per variabili

per valore funzione ed è approssimativo. , eccetera.

Q

$Q$

\sum_{i} R_{i} P_{i}

$\sum_i R_i P_i$

\sum_{i} V_{i} P_{i}

$\sum_i V_i P_i$

f

$f$

g

$g$

h

$h$

x

$x$

y

$y$

V

$V$

U

$U$

— Sesto Empirico

$Q(s_t,a_t)\gets Q(s_t,a_t)+\alpha(r_t+\gamma \times \max_{a} Q(s_{t+1},a)-Q(s_t,a_t))$

$Q$

— Ameet Deshpande
fonte

Leggi questa tesi e dimmi come la "qualità" ha un senso nel contesto del ritorno atteso

— Aksakal,

Anche se sono d'accordo con te, la tesi è stata scritta dopo che Watkins ha consultato Andy su diverse cose. Andy potrebbe aver avuto un'idea migliore di quanto pensi che faccia.

— Ameet Deshpande,

La qualità non esiste nemmeno come concetto distinto nell'apprendimento. Puoi usare la parola nel suo solito senso dall'inglese, ovviamente. Il rendimento atteso, d'altra parte, è molto ben definito nella teoria dei giochi, non è necessario diluirlo attaccando concetti vaghi come la qualità. Non stai massimizzando la qualità, stai massimizzando i premi scontati con la misura di probabilità adeguata. Se vuoi essere un po 'più ampio, puoi massimizzare l'utilità.

— Aksakal,