Statistiche e Big Data reinforcement-learning

2

Domande su Q-Learning tramite reti neurali

Ho implementato Q-Learning come descritto in, http://web.cs.swarthmore.edu/~meeden/cs81/s12/papers/MarkStevePaper.pdf Al fine di ca. Q (S, A) Uso una struttura di rete neurale come la seguente, Sigmoide di attivazione Ingressi, numero di ingressi + 1 per neuroni d'azione (tutti gli ingressi in scala 0-1) Uscite, uscita singola. Q-Valore N numero di M strati …

14 machine-learning neural-networks reinforcement-learning

4

Perché esiste sempre almeno una politica migliore o uguale a tutte le altre politiche?

Apprendimento per rinforzo: un'introduzione. Seconda edizione, in corso ., Richard S. Sutton e Andrew G. Barto (c) 2012, pp. 67-68. Risolvere un compito di apprendimento di rinforzo significa, approssimativamente, trovare una politica che ottenga molti premi nel lungo periodo. Per gli MDP finiti, possiamo definire con precisione una politica ottimale …

14 markov-process reinforcement-learning

1

GAM vs LOESS vs spline

Contesto : Voglio tracciare una linea in un grafico a dispersione che non appare parametrico, quindi sto usando geom_smooth()in ggplota R. Restituisce automaticamente geom_smooth: method="auto" and size of largest group is >=1000, so using gam with formula: y ~ s(x, bs = "cs"). Use 'method = x' to change the …

14 r gam splines loess r data-visualization boxplot mathematical-statistics theory sufficient-statistics machine-learning classification correlation svm feature-selection probability stochastic-processes machine-learning reinforcement-learning

1

Qual è la differenza tra episodio ed epoca nell'apprendimento Q profondo?

Sto cercando di capire il famoso articolo "Giocando Atari con Deep Reinforcement Learning" ( pdf ). Non sono chiaro sulla differenza tra un'epoca e un episodio . Nell'algoritmo , il ciclo esterno è sopra episodi , mentre in figura l'asse x è etichettato epoca . Nel contesto dell'apprendimento per rinforzo, …

14 neural-networks terminology reinforcement-learning q-learning

1

Perché l'apprendimento del rinforzo profondo è instabile?

Nel documento di DeepMind del 2015 sull'apprendimento approfondito del rinforzo, si afferma che "I precedenti tentativi di combinare RL con le reti neurali erano in gran parte falliti a causa dell'apprendimento instabile". Il documento elenca quindi alcune cause di ciò, in base alle correlazioni tra le osservazioni. Per favore qualcuno …

13 machine-learning neural-networks deep-learning reinforcement-learning

1

Algoritmo ottimale per risolvere i problemi del bandito armato?

Ho letto di un certo numero di algoritmi per risolvere problemi di bandito n-armati come -greedy, softmax e UCB1, ma ho qualche problema nell'ordinare quale approccio è meglio per minimizzare il rimpianto.εε\epsilon Esiste un algoritmo ottimale noto per risolvere il problema dei banditi n-armati? Esiste una scelta di algoritmo che …

13 machine-learning reinforcement-learning multiarmed-bandit

2

Perché la riproduzione dell'esperienza richiede un algoritmo off-policy?

Nel documento che introduce DQN " Playing Atari con Deep Reinforcement Learning ", menziona: Si noti che quando si apprende mediante il replay dell'esperienza, è necessario apprendere off-policy (poiché i nostri parametri attuali sono diversi da quelli utilizzati per generare il campione), il che motiva la scelta del Q-learning. Non …

12 reinforcement-learning

2

Tradurre il problema dell'apprendimento automatico in un quadro di regressione

Supponiamo che io abbia un pannello di variabili esplicative , per , , nonché un vettore di variabili binarie dipendenti dal risultato . Quindi Y viene osservato solo nell'ultima volta T e non in qualsiasi momento precedente. Il caso del tutto generale è avere più X_ {ijt} per j = …

12 regression machine-learning reinforcement-learning

1

Come adattare i pesi ai valori Q con approssimazione di funzioni lineari

Nell'apprendimento per rinforzo, l'approssimazione di funzioni lineari viene spesso utilizzata quando sono presenti ampi spazi di stato. (Quando le tabelle di ricerca diventano impossibili.) La forma del valore con approssimazione della funzione lineare è data daQ -Q-Q- Q ( s , a ) = w1f1( s , a ) + …

12 machine-learning feature-selection reinforcement-learning

2

Quando sono preferiti i metodi Monte Carlo rispetto a quelli con differenza temporale?

Ultimamente ho fatto molte ricerche sull'apprendimento per rinforzo. Ho seguito l' apprendimento di rinforzo di Sutton & Barto : un'introduzione per la maggior parte di questo. So quali sono i processi decisionali di Markov e come l'apprendimento della programmazione dinamica (DP), Monte Carlo e differenza temporale (DP) può essere utilizzato …

12 monte-carlo reinforcement-learning temporal-difference

1

Qual è la politica di lancio nel documento di AlphaGo?

Il documento è qui . La politica di implementazione ... è una politica lineare di softmax basata su funzioni basate su pattern locali veloci, calcolate in modo incrementale ... Non capisco quale sia la politica di lancio e come sia correlata alla rete delle politiche di selezione di una mossa. …

11 machine-learning monte-carlo reinforcement-learning games

1

Q-learning con Neural Network come approssimazione della funzione

Sto cercando di utilizzare una rete neurale per approssimare il valore Q in Q-learning come in Domande sull'apprendimento Q utilizzando reti neurali . Come suggerito nella prima risposta, sto usando una funzione di attivazione lineare per il livello di output, mentre sto ancora usando la funzione di attivazione sigmoid nei …

11 neural-networks reinforcement-learning

3

Qual è la relazione tra la teoria dei giochi e l'apprendimento per rinforzo?

Sono interessato a (Deep) Reinforcement Learning (RL) . Prima di immergermi in questo campo dovrei seguire un corso in Game Theory (GT) ? Come sono correlati GT e RL ?

11 deep-learning reinforcement-learning game-theory

1

È possibile addestrare un modello di P (Y | X) mediante discesa gradiente stocastica da campioni non iid di P (X) e campioni iid di P (Y | X)?

Durante l'addestramento di un modello parametrico (ad es. Per massimizzare la probabilità) tramite la discesa stocastica del gradiente su alcuni set di dati, si presume comunemente che i campioni di allenamento siano estratti dalla distribuzione dei dati di allenamento. Quindi, se l'obiettivo è quello di modellare una distribuzione congiunta , …

10 machine-learning conditional-probability reinforcement-learning gradient-descent

2

Perché l'algoritmo di iterazione delle politiche converge in criteri e valori ottimali?

Stavo leggendo gli appunti di Andrew Ng sull'apprendimento per rinforzo e stavo cercando di capire perché l'iterazione politica convergesse alla funzione di valore ottimale e politica ottimale .V*V*V^*π*π*\pi^* L'iterazione della politica di richiamo è: Inizializza π a casoRipeti {L e t V : = Vπ \ per la politica corrente, …

10 reinforcement-learning policy-iteration

Domande taggate «reinforcement-learning»