Intelligenza artificiale reinforcement-learning

6

Qual è la differenza tra l'apprendimento per rinforzo senza modelli e basato su modelli?

Qual è la differenza tra l'apprendimento per rinforzo senza modelli e basato su modelli? Mi sembra che qualsiasi studente privo di modelli, imparando attraverso prove ed errori, possa essere riformulato come basato su modelli. In tal caso, quando sarebbero appropriati gli studenti liberi da modelli?

29 reinforcement-learning comparison model-based model-free

1

Qual è la relazione tra Q-learning e metodi di gradienti politici?

Per quanto ho capito, Q-learning e gradienti politici (PG) sono i due principali approcci utilizzati per risolvere i problemi di RL. Mentre il Q-learning mira a prevedere la ricompensa di una determinata azione intrapresa in un determinato stato, i gradienti politici predicono direttamente l'azione stessa. Tuttavia, entrambi gli approcci mi …

21 reinforcement-learning q-learning policy-gradients comparison

4

Come gestire le mosse non valide nell'apprendimento per rinforzo?

Voglio creare un'intelligenza artificiale in grado di giocare a cinque di fila / gomoku. Come ho già detto nel titolo, voglio usare l'apprendimento per rinforzo per questo. Uso il metodo del gradiente delle politiche , vale a dire REINFORCE, con baseline. Per l'approssimazione del valore e della funzione politica, utilizzo …

20 machine-learning reinforcement-learning game-ai combinatorial-games

2

Come definire gli stati nell'apprendimento per rinforzo?

Sto studiando l'apprendimento per rinforzo e le sue varianti. Sto iniziando a capire come funzionano gli algoritmi e come si applicano a un MDP. Quello che non capisco è il processo di definizione degli stati dell'MDP. Nella maggior parte degli esempi e tutorial, rappresentano qualcosa di semplice come un quadrato …

14 reinforcement-learning

2

Che cos'è l'efficienza del campione e come può essere utilizzato il campionamento per importanza per raggiungerlo?

Ad esempio, il titolo di questo documento recita: "Esempio di attore efficiente critico con esperienza Replay". Che cos'è l' efficienza del campione e come può essere utilizzato il campionamento per importanza per raggiungerlo?

14 reinforcement-learning statistical-ai importance-sampling

3

Esistono applicazioni dell'apprendimento per rinforzo oltre ai giochi?

Esiste un modo per insegnare l'apprendimento per rinforzo in applicazioni diverse dai giochi? Gli unici esempi che posso trovare su Internet sono degli agenti di gioco. Capisco che i VNC controllano l'ingresso ai giochi tramite la rete di rinforzo. È possibile configurarlo con un software CAD?

13 reinforcement-learning applications

3

Come implementare uno spazio d'azione limitato nell'apprendimento per rinforzo?

Sto codificando un modello di apprendimento di rinforzo con un agente PPO grazie all'ottima libreria Tensorforce , costruita su Tensorflow. La prima versione era molto semplice e ora mi sto tuffando in un ambiente più complesso in cui tutte le azioni non sono disponibili ad ogni passaggio. Diciamo che ci …

13 deep-learning reinforcement-learning

1

Perché non vedi i livelli di abbandono negli esempi di apprendimento del rinforzo?

Ho studiato l'apprendimento per rinforzo e in particolare ho cercato di creare i miei ambienti da utilizzare con l'IA di OpenAI Gym. Sto usando gli agenti del progetto stable_baselines per testarlo. Una cosa che ho notato praticamente in tutti gli esempi di RL è che non sembra esserci mai alcun …

13 machine-learning reinforcement-learning overfitting dropout

1

Quando dovrei usare Reinforcement Learning vs PID Control?

Quando si progettano soluzioni a problemi come Lunar Lander su OpenAIGym , Reinforcement Learning è un mezzo allettante per fornire all'agente un adeguato controllo dell'azione per atterrare con successo. Ma quali sono i casi in cui gli algoritmi del sistema di controllo, come i controller PID , farebbero proprio un …

12 reinforcement-learning ai-design control-theory

1

Perché DQN richiede due reti diverse?

Stavo attraversando questa implementazione di DQN e vedo che sulla linea 124 e 125 sono state inizializzate due diverse reti Q. Da quanto ho capito, penso che una rete preveda l'azione appropriata e la seconda preveda i valori Q di destinazione per trovare l'errore Bellman. Perché non possiamo creare un'unica …

12 reinforcement-learning q-learning dqn

2

Perché Q-learning non converge quando si usa l'approssimazione delle funzioni?

L'algoritmo tabellare Q-learning è garantito per trovare la funzione QQQ ottimale , Q*Q∗Q^* , a condizione che siano soddisfatte le seguenti condizioni (le condizioni di Robbins-Monro ) relative alla frequenza di apprendimento Σtαt( s , a ) = ∞∑tαt(s,a)=∞\sum_{t} \alpha_t(s, a) = \infty Σtα2t( s , a ) < ∞∑tαt2(s,a)<∞\sum_{t} …

12 reinforcement-learning q-learning deep-rl proofs function-approximation

3

Perché il tasso di sconto nell'algoritmo REINFORCE appare due volte?

Stavo leggendo il libro Reinforcement Learning: An Introduction di Richard S. Sutton e Andrew G. Barto (bozza completa, 5 novembre 2017). A pagina 271, viene presentato lo pseudo-codice per il metodo episodico Monte-Carlo Policy-Gradient. Guardando questo pseudo-codice non riesco a capire perché sembra che il tasso di sconto appaia 2 …

11 reinforcement-learning algorithm rl-an-introduction reinforce

1

Come rimanere un ricercatore aggiornato nella comunità ML / RL?

Come studente che vuole lavorare sull'apprendimento automatico, vorrei sapere come è possibile iniziare i miei studi e come seguirlo per rimanere aggiornati. Ad esempio, sono disposto a lavorare su problemi RL e MAB, ma ci sono letterature enormi su questi argomenti. Inoltre, questi argomenti sono studiati da ricercatori di diverse …

11 machine-learning reinforcement-learning research markov-decision-process

1

Come possono essere applicati i gradienti politici nel caso di più azioni continue?

Trusted Region Policy Optimization (TRPO) e Proximal Policy Optimization (PPO) sono due algoritmi di gradienti di politica all'avanguardia. Quando si utilizza una singola azione continua, normalmente, si utilizzerà una distribuzione di probabilità (ad esempio, gaussiana) per la funzione di perdita. La versione approssimativa è: L ( θ ) = log( …

11 deep-learning reinforcement-learning trpo

3

La politica ottimale è sempre stocastica se anche l'ambiente è stocastico?

La politica ottimale è sempre stocastica (ovvero una mappa dagli stati a una distribuzione di probabilità sulle azioni) se anche l'ambiente è stocastico? Intuitivamente, se l'ambiente è deterministico (cioè, se l'agente è in uno stato SSs e interviene un'un'a , allora lo stato successivo S'S's' è sempre la stessa, senza …

10 reinforcement-learning stochastic-policy deterministic-policy policy environment

Domande taggate «reinforcement-learning»