Una nuova IA vince al volo. Un'intelligenza artificiale simile può vincere a scacchi? Può raggiungere l'auto-allenamento puro?

Una delle domande più popolari poste su questo sito riguarda la prospettiva di un'IA di scacchi puramente auto-allenata.

Oggi, ChessBase è distratto dalla sua copertura del torneo FIDE Candidates per riferire che una nuova IA sta, per la prima volta, battendo un maestro leader del gioco piuttosto diverso del gioco, che ha resistito per molti anni agli IA in stile scacchi. Una lettura iniziale del rapporto suggerisce che la nuova IA di go è diversa dalle AI di scacchi, ma è più o meno un'IA di gioco generale (GGP). L'articolo di ChessBase non utilizza tuttavia il termine GGP, ma sembra dire che l'IA mobile può vincere con semplici videogiochi.

C'è qualche motivo per cui un AI vincente non potrebbe con piccoli aggiustamenti anche vincere a scacchi? In tal caso, una tale dimostrazione di intelligenza artificiale promette di raggiungere il puro auto-allenamento di cui in precedenza hanno discusso diverse risposte eccellenti alla domanda precedente, che a quel tempo non era ancora possibile? Perché o perché no?

Sospetto che non sia ancora disponibile una risposta davvero completa e pienamente informata alla mia domanda, quindi sarebbe apprezzata anche una risposta parziale basata sulle relative competenze.

Per ulteriori riferimenti, vedere anche questa domanda e risposte correlate.

AGGIORNARE

Quando la domanda di cui sopra è stata pubblicata per la prima volta cinque giorni fa e quando sono state fornite alcune delle migliori risposte di seguito, erano appena apparse le prime notizie sulla vittoria dell'IA. Da allora sono emerse ulteriori informazioni e commenti.

Particolarmente interessante da allora è stata una discussione su una tavola rotonda a cinque facce abbastanza leggibile in cui Jonathan Schaeffer osserva:

Imparare dai giochi umani aiuta ad accelerare l'apprendimento del programma. AlphaGo potrebbe imparare a diventare un giocatore forte da solo, senza usare i giochi umani. Il processo di apprendimento richiederebbe solo più tempo.

Secondo l'ospite della tavola rotonda, Schaeffer è "professore di scienze informatiche all'Università di Alberta e l'uomo che ha risolto la dama"; quindi, presumibilmente, potrebbe essere qualificato per commentare.

Per ulteriori informazioni, ecco il resoconto di un'altra discussione aperta, molti dei cui partecipanti sembrano meglio informati del solito. La discussione si è svolta durante la partita.

Ulteriore aggiornamento, un anno e mezzo dopo: commentatore @MarkS. scrive:

Questo è solo un commento perché riguarda Go, non gli scacchi, ma AlphaGo Zero ha raggiunto il "puro auto-allenamento" solo dopo aver saputo chi ha vinto (e non il punteggio finale) ed è più forte e molto più efficiente dell'IA che ha battuto Lee Sedol . Per ulteriori informazioni, consultare deepmind.com/blog/alphago-zero-learning-scratch

Bene bene bene! DeepMind ha pubblicato un articolo in cui afferma di aver programmato e addestrato un computer di rete neurale per battere Stockfish.

Con 1 minuto di riflessione per mossa, il loro computer AlphaZero ha battuto Stockfish di +25, = 25, -0 con bianco e + 3, = 47,0- come nero.

Hanno "addestrato" 3 computer separati per giocare a scacchi, shogi e Go e battere i loro rivali di silicio in modo convincente.

Ecco come il documento descrive la formazione e la valutazione -

I giochi self-play vengono generati utilizzando gli ultimi parametri per questa rete neurale, omettendo il passaggio di valutazione e la selezione del miglior giocatore.

AlphaGo Zero ha ottimizzato l'iperparametro della sua ricerca mediante l'ottimizzazione bayesiana. In AlphaZero riutilizziamo gli stessi iperparametri per tutti i giochi senza messa a punto specifica del gioco. L'unica eccezione è il rumore aggiunto alla politica precedente per garantire l'esplorazione; questo è ridimensionato in proporzione al numero tipico di mosse legali per quel tipo di gioco.

Come AlphaGo Zero, lo stato del tabellone è codificato da piani spaziali basati solo sulle regole di base per ogni gioco. Le azioni sono codificate da piani spaziali o da un vettore piatto, sempre in base solo alle regole di base di ciascun gioco (vedi Metodi).

Abbiamo applicato l'algoritmo AlphaZero a scacchi, shogi e anche Go. Se non diversamente specificato, per tutti e tre i giochi sono state utilizzate le stesse impostazioni dell'algoritmo, l'architettura di rete e gli iperparametri. Abbiamo addestrato un'istanza separata di AlphaZero per ogni gioco. La formazione è proseguita per 700.000 passaggi (mini-batch di dimensioni 4.096) a partire da parametri inizializzati in modo casuale, utilizzando 5.000 TPU di prima generazione per generare giochi self-play e 64 TPU di seconda generazione per addestrare le reti neurali. Ulteriori dettagli sulla procedura di addestramento sono forniti nei Metodi.

La Figura 1 mostra le prestazioni di AlphaZero durante l'apprendimento del rinforzo in auto-gioco, in funzione delle fasi di allenamento, su una scala Elo (10). Negli scacchi, AlphaZero ha sovraperformato lo stoccafisso dopo solo 4 ore (300k passi); nello shogi, AlphaZero ha sovraperformato Elmo dopo meno di 2 ore (incrementi di 110k); e in Go, AlphaZero ha sovraperformato AlphaGo Lee (29) dopo 8 ore (165k passi).

Abbiamo valutato le istanze completamente addestrate di AlphaZero contro Stockfish, Elmo e la versione precedente di AlphaGo Zero (allenata per 3 giorni) rispettivamente negli scacchi, nello shogi e nel Go, giocando 100 partite di gioco ai controlli del tempo del torneo di un minuto per mossa. AlphaZero e il precedente AlphaGo Zero utilizzavano un'unica macchina con 4 TPU. Stoccafisso ed Elmo hanno giocato al loro livello di abilità più forte usando 64 thread e una dimensione di hash di 1 GB. AlphaZero ha sconfitto in modo convincente tutti gli avversari, perdendo zero partite a Stoccafisso e otto partite a Elmo (vedi Materiale supplementare per diversi giochi di esempio), oltre a sconfiggere la versione precedente di AlphaGo Zero (vedi Tabella 1).

Il loro computer utilizzava una nuova forma di chip chiamata "TPU" ( unità di elaborazione tensore ) sviluppata da Google per le attività di apprendimento automatico.

Sostengono anche che il loro algoritmo di ricerca dell'albero di Monte Carlo è migliore e più "umano" rispetto ai tradizionali algoritmi di ricerca alfa-beta -

Abbiamo anche analizzato le prestazioni relative della ricerca MCTS di AlphaZero rispetto ai motori di ricerca alfa-beta all'avanguardia utilizzati da Stockfish ed Elmo. AlphaZero cerca solo 80 mila posizioni al secondo negli scacchi e 40 mila nello shogi, rispetto ai 70 milioni di stoccafisso e ai 35 milioni di elmo. AlphaZero compensa il minor numero di valutazioni usando la sua profonda rete neurale per concentrarsi in modo molto più selettivo sulle variazioni più promettenti - probabilmente un approccio più "umano" alla ricerca, come originariamente proposto da Shannon. La Figura 2 mostra la scalabilità di ciascun giocatore rispetto al tempo di pensiero, misurata su una scala Elo, rispetto allo Stoccafisso o all'Elmo con tempo di pensiero di 40 ms. Il MCTS di AlphaZero si è ridimensionato in modo più efficace con il tempo di riflessione rispetto allo stoccafisso o all'elmo,

Ecco alcuni dei giochi -

Gioco

Bianco: AlphaZero Nero: stoccafisso

Ok, devo ammettere che mi sbagliavo. Sebbene io sostenga che ciò era dovuto alla conoscenza dell'opinione degli esperti, non alla generale ottusità: per citare il documento : "Tuttavia, i programmi di scacchi che usano MCTS tradizionale erano molto più deboli dei programmi di ricerca alfa-beta, (4, 24); mentre l'alfa - i programmi di base basati su reti neurali non sono stati in precedenza in grado di competere con funzioni di valutazione più veloci e realizzate a mano. "

Apparentemente, gli scacchi sono abbastanza strategicamente profondi, che puoi mettere fuori strategia qualcuno, che sarebbe in grado di calcolarti. Per me è una grande sorpresa, perché lo sviluppo dei motori per gli scacchi stava andando nella direzione opposta. (Apparentemente c'è ancora un leggero avvertimento sul fatto che AlphaZero sia davvero più forte dello stoccafisso: lo stoccafisso ha giocato con solo 1 GB per gli hashtable e 64 core potrebbero non corrispondere a quattro TPU)

È anche una cosa molto, molto eccitante, perché AlphaZero ha molto probabilmente punti di forza molto diversi dai motori tradizionali.

Significa anche che aggiorno di molto la mia convinzione sul significato di AlphaGo come innovazione tecnologica. Fondamentalmente distruggendo lo shogi, Go e gli scacchi con una singola configurazione sono completamente sorprendenti, per non parlare di dozzine di altri giochi che probabilmente potrebbero essere giocati a livello sovrumano da AlphaZero.

C'è una bella spiegazione del perché MCTS è in realtà un'idea decente anche per gli scacchi rispetto alla ricerca alfa-beta (dalla carta): "AlphaZero valuta le posizioni usando l'approssimazione di funzioni non lineari basate su una rete neurale profonda, piuttosto che lineare approssimazione delle funzioni utilizzata nei tipici programmi di scacchi. Ciò fornisce una rappresentazione molto più potente, ma può anche introdurre errori di approssimazione spuri. MCTS fa una media su questi errori di approssimazione, che quindi tendono ad annullarsi quando si valuta un sottostruttura di grandi dimensioni. Al contrario, la ricerca alpha-beta calcola un mini-max esplicito, che propaga i più grandi errori di approssimazione alla radice della sottostruttura. " (enfasi da parte mia)

Ecco la mia vecchia risposta, che contiene ancora alcuni punti validi, nonostante la conclusione venga sostituita dalla realtà.

Innanzitutto Alphago non è un sistema di gioco generale. È un programma progettato esclusivamente per giocare e niente altro. È tuttavia costruito da alcuni elementi costitutivi che hanno un'applicabilità molto più ampia, come le reti neurali convoluzionali , che sono state utilizzate nel riconoscimento delle immagini e che hanno un'applicazione immediata nella diagnostica medica e l' apprendimento del rinforzo che è stato utilizzato per padroneggiare i giochi Atari menzionati in l'articolo.

Inoltre, i motori attuali "apprendono" giocando da soli : "Durante la notte, i sei computer di Lefler giocano attraverso oltre 14.000 giochi ciascuno per un periodo di otto ore." Sei macchine per 14.000 partite sono molte partite ", dice. E con ad ogni partita giocata, il database diventa più profondo e più ricco. C'è persino un interesse sportivo nel guardare i computer giocare l'uno contro l'altro. Il risultato delle macchine frenetiche di Lefler è l'abilità sempre crescente di Komodo. "

Per arrivare alla maggior parte della tua domanda:

C'è un'importante differenza tra scacchi e go, almeno dal punto di vista di un programmatore. Gli scacchi sono più un gioco tattico, mentre andare è più un gioco strategico. Ciò significa che, nel calcolo degli scacchi, la profondità supera la valutazione posizionale. Questa è fondamentalmente l'intuizione chiave che distingue i "vecchi" motori come Fritz, Shredder, Junior e le nuove generazioni come Fruit, Rybka, Houdini, Stockfish, Komodo. Perché alla fine di ogni riga devi valutare la posizione e vuoi calcolare un sacco di righe e la qualità della valutazione non è importante quanto la profondità di ricerca, i motori di scacchi hanno funzioni di valutazione snelle e veloci.

D'altra parte, la complessità tattica è troppo grande anche per i computer. Di conseguenza è fondamentale valutare posizioni e spostamenti con precisione. Ciò che Alphago introduce nel gioco è questo potere di valutazione, che si basa su reti neurali convoluzionali .

Per arrivare finalmente al mio punto: considerando che le funzioni di valutazione degli scacchi sono snelle e veloci, le reti neurali hanno milioni, a volte miliardi di parametri. Poiché "apprendere" in questo contesto significa modificare i parametri, ci sono molti più progressi possibili per i programmi di autoapprendimento.

Quindi, sì, potresti usare un setup come Alphago per creare un motore di scacchi, ma non sarebbe particolarmente buono. L'esecuzione della funzione di valutazione richiederebbe così tanto tempo, che dovresti utilizzare un enorme cluster di gpus per raggiungere le profondità di ricerca necessarie (che è ciò che Alphago fa). Potresti creare un'ottima funzione di valutazione , ma il compromesso sulla velocità non ne vale la pena.

C'è un progetto chiamato spawkfish che tenta di fare proprio questo. È un motore basato sulla rete neurale il cui scopo "è esplorare come i recenti progressi del computer Go possano essere applicati al mondo degli scacchi per computer".

È un progetto giovane e il motore è ancora piuttosto debole. Suonarlo è interessante, perché il suo gioco di posizione è migliore della sua tattica.

Un'intelligenza artificiale simile può vincere a scacchi? Può raggiungere l'auto-allenamento puro?

La risposta breve è "No!"

Chess and go sono radicalmente diversi nella loro relativa semplicità e relativa complessità che deriva dalla loro geometria e dal modo in cui vinci. Questi si combinano per creare un programma che è buono a uno inutile all'altro.

Negli scacchi che vinci facendo scacco matto all'avversario, i punti non contano. Naturalmente un avversario sensibile si dimetterà spesso prima di dare scacco matto, ma il principio è lo stesso. In go vinci avendo più punti alla fine della partita. Se ho un re e una regina e tu hai un re, una torre e una pedina ma hai costruito una fortezza, non importa che io abbia 9 punti per la regina e tu abbia solo 6 punti per la torre e la pedina. Il gioco è un pareggio.

Questo fa una differenza fondamentale nella complessità tra scacchi e go. In gioco puoi semplicemente tenere il punteggio e saprai chi sta vincendo. Negli scacchi l'unico modo per sapere chi sta vincendo è il puro calcolo. In questo senso, gli scacchi sono molto più complessi di quanto non lo siano.

Allo stesso tempo, a causa della geometria dei due giochi, ci sono ordini di grandezza in più possibilità che negli scacchi. In questo senso, andare è molto più complesso degli scacchi.

Un programma di scacchi funziona mediante il calcolo della forza bruta di tutte le mosse possibili fino a una certa profondità che ne determina la forza. Un programma go non può funzionare in questo modo e riprodurre qualcosa di più avanzato rispetto al livello principiante.

Lo scopo principale del gioco è controllare più territorio del tuo avversario. Alla fine di una partita non importa se la differenza è 1 pietra o 100 pietre, entrambe sono vittorie. Ogni volta che metti una pietra fai due cose. Aumenti il ​​tuo territorio, potenziale o effettivo, e diminuisci quello del tuo avversario.

A volte, quando è reale aumento o diminuzione nel territorio, è facile calcolare il valore dello spostamento, ma quando è potenziale è molto difficile da valutare. Da giocatore debole capisco il "reale" molto meglio del "potenziale" e un giocatore più forte mi batterà costruendo un territorio potenziale molto più grande al centro mentre costruisco un territorio reale più piccolo ai bordi e negli angoli. Il giocatore più forte avrà sviluppato la capacità di giudicare attraverso l'intuizione e la sensazione giocando molti giochi e riconoscendo come costruire un territorio "potenziale".

Prima ho detto che ogni volta che posiziono una pietra aumenta il mio territorio (reale o potenziale) e diminuisce il mio avversario (in realtà se è una mossa stupida farà il contrario!). In una data posizione non tutte le mosse sono uguali. Una pietra posta in una posizione può valere molto più o molto meno di una pietra posta in un'altra.

Tipicamente in una partita ci saranno piccoli "combattimenti" in cui i giocatori posizionano le pietre l'una vicino all'altra, delimitando il loro territorio e limitando quello dell'avversario. Nel frattempo ci sono possibilità di iniziare a picchettare il territorio in un'altra parte del tabellone o passare a un combattimento altrove in cui entrambi i giocatori hanno già delle pietre.

Ciò che è molto importante in queste situazioni è sapere quando fermare un combattimento, perché i potenziali guadagni sono diminuiti e passare a un altro combattimento o forse colpire in territorio vergine. A volte questo dipende da calcoli difficili, ma spesso è molto più nebuloso e non soggetto a calcoli. Come giocatore debole è qui che un forte giocatore mi schiaccia ogni volta.

Quello che fa il computer in queste situazioni è usare metodi probabilistici per generare un punteggio atteso per una mossa particolare. A volte il valore reale risulterà essere un po 'meno, a volte un po' di più, ma a lungo termine sarà persino più o meno. Continuerà a scegliere la mossa con il valore atteso più alto, con l'aspettativa che nel lungo periodo di una partita piccoli errori si annullino e la sua strategia vincerà.

Questa non è una strategia che sembra familiare ai giocatori di scacchi e non è una strategia che funzionerà negli scacchi. È qualcosa che suona familiare a chiunque segua ciò che accade nei mercati azionari. Sembra molto simile a qualcosa chiamato "trading ad alta frequenza" in cui i computer faranno migliaia di piccole scommesse o semplicemente proporranno scommesse ogni secondo per "nichelare e monetizzare" il mercato e forse anche per spostarlo molto marginalmente a loro favore in periodi di millisecondi.

Già i mercati finanziari sono dominati da questo tipo di negoziazione algoritmica, il che suggerisce che questo tipo di programma ha già trionfato in un'area molto più redditizia di un gioco da tavolo.

(Chiunque desideri una discussione tecnica approfondita per AlphaGo può consultare il mio post )

Risposta breve : No

Risposta lunga :

Innanzitutto, dobbiamo capire perché Google non ha implementato l'alfa-beta in AlphaGo. Stoccafisso e Komodo (e tutti i motori di scacchi) hanno alpha-beta, perché AlphaGo non dovrebbe?

Motivo : non esiste un modo semplice ed economico per valutare staticamente una posizione Go.

In Chess, possiamo sempre contare i materiali, un modo molto efficace per valutare staticamente una posizione. Sebbene non sia perfetto, è molto veloce e un ottimo proxy per gli scacchi.

La ricerca nello spazio degli stati con Monte-Carlo è un metodo inferiore all'alfa-beta. Google avrebbe implementato l'alfa-beta se avessero potuto, ma non potevano. Pertanto, furono costretti a usare qualcosa di molto più lento.

Il motore di scacchi non giocherebbe meglio con Monte-Carlo.

Non sono d'accordo con le altre risposte. Sono uno scienziato informatico che lavora professionalmente nell'area dell'intelligenza artificiale e sono anche un candidato master negli scacchi e 3 dan in igo.

Penso che non sia chiaro in questo momento se i metodi di Deep Mind possano essere applicati agli scacchi, ma penso che sia possibile.

Attualmente, i migliori programmi di gioco degli scacchi fanno sempre più affidamento sull'euristica e il tentativo di utilizzare l'architettura AlphaGo per gli scacchi sarebbe in qualche modo sulla stessa linea di pensiero.

Una caratteristica architettonica chiave di AlphaGo che dovrebbe essere modificata è il suo metodo di identificazione dei quadrati chiave (o mappe di calore), che è particolare per i giochi simili a igo e non è direttamente applicabile agli scacchi. Alcuni analoghi di questo metodo dovrebbero essere sviluppati per rendere l'architettura AlphaGo rilevante per gli scacchi. Ad esempio, potremmo avere il concetto di "pezzi chiave" anziché di quadrati chiave.

Penso che l'argomentazione secondo cui l'architettura AlphaGo non è rilevante per gli scacchi perché gli scacchi è più tattico non è un'affermazione molto valida perché alla fine entrambi hanno alberi di ricerca abbastanza simili nella forma che AlphaGo potrebbe sicuramente essere adattato agli scacchi.

La risposta è si! Google lo ha appena dimostrato ieri, quando AlphaZero ha battuto il miglior programma di scacchi usando solo la conoscenza delle regole e il puro auto allenamento senza la conoscenza degli scacchi umani. La risposta accettata è sbagliata. Il link all'articolo è qui: link

Per vedere AlphaZero in azione, segui http://lczero.org/ o gioca su http://play.lczero.org/