Conferenza / libro su AlphaGo / AlphaZero

8

Sono molto interessato a come Resp AlphaGo. AlphaZero funziona. Mi sembra che i relativi Google Papers siano molto densi e non facili da leggere.

Esiste un libro di testo o una lezione che spieghi a livello tecnico come funziona tutto? Cioè a partire da reti neurali / apprendimento profondo, Monte Carlo Tree Search fino a raggiungere AlphaGo / AlphaZero?

Ho un master in informatica, ma non ho mai lavorato con l'intelligenza artificiale / machine learning.

In questo momento mi sembra che tutte le informazioni correlate siano sparse in giro, e non ho tempo di ascoltare lezioni (online) sull'apprendimento automatico che contengono forse solo il 10% su ciò che è rilevante per comprendere AlphaGo ...

Qualcuno può indicarmi la giusta direzione?

chess-algorithms  alphazero 
— ndbd
fonte
2
— unutbu il
2
grazie per il link, ma quella presentazione è davvero molto superficiale
— ndbd l'

Risposte:

10

MODIFICARE

Il link @ unutbu nel commento è una buona lettura introduttiva.

Una solida conoscenza di AlphaZero richiede molto probabilmente un grado quantitativo (PhD?). Stai chiedendo un corso intensivo in AlphaZero?

Si prega di notare che a meno che non si investa una notevole quantità di tempo, nulla di quello che dico funzionerà. Non esiste un libro che possa eventualmente coprire tutto. Dovrai lavorare molto duramente.

Proviamo. Corso intensivo per AlphaZero.

1. Comprensione di base nell'apprendimento automatico

Numero infinito di libri. Ma se non hai tempo, consiglierei i corsi di apprendimento automatico del professor Andrew Ng su Coursera.

Le tue parole chiave: set di allenamento, set di test, discesa gradiente stocastica, tasso di apprendimento, GPU, funzione di costo, entropia incrociata .

2. Reti profondamente neutre

Devi conoscere le reti neurali. Consiglierei il libro di apprendimento approfondito del professor Ian Goodfellow se sei serio. Se non hai tempo, segui di nuovo il corso online del professor Andrew Ng su Coursera. Non devi andare attraverso tutti i capitoli (ma dovresti!).

YouTube ha molte introduzioni rapide alle reti neurali, provale.

Le tue parole chiave: neurone, strati, pesi, distorsione, mini-batch, attivazione .

3. Ricerca dell'albero di Monte Carlo

Dovresti capire cos'è Monte Carlo. I libri su Monte Carlo sono ovunque su Amazon. Leggi la Wikipedia su MCTS se non hai tempo.

Le tue parole chiave: campionamento, espansione, simulazione, implementazioni, backpropagation .

3. Apprendimento di rinforzo

Le tue parole chiave: gradiente politico, discesa gradiente, tasso di apprendimento

5. Rappresentazione della scacchiera

Il documento stesso è il più semplice. Il modello codifica lo stato della scheda (ad es. Pezzi) come una serie di valori binari di codifica a caldo singolo.

6. MCTS vs alpha-beta

inserisci qui la descrizione dell'immagine

— SmallChess
fonte
4
grazie mille per la risposta dettagliata. Quindi sembra che purtroppo non ci sia una guida diretta. Il mio punto è che ovviamente come CS maggiore conosco le reti neurali, ma non il tipo specifico di reti profonde che sono state utilizzate in Alpha *. Conosco approssimativamente MCTS come introdotto da Bernd Brügmann, ma non il tipo specifico di adattamento per Alpha *. Lo stesso vale per l'apprendimento per rinforzo. Ad esempio, il corso di Andrew Ng sull'ML è molto ampio e copre argomenti come PCA / LDA, che per quanto ne so è del tutto irrilevante qui. Ma suppongo che dovrò farlo da solo allora ;-)
— ndbd l'
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.