Algoritmo di machine learning per giocare a Connect Four

Attualmente sto leggendo l'apprendimento automatico e mi chiedo come applicarlo per giocare a Connect Four .

Il mio attuale tentativo è un semplice classificatore multiclasse che utilizza un modello di funzione sigmoid e il metodo one-vs-all.

A mio avviso, le funzioni di input devono essere lo stato (disco del lettore 1, disco del lettore 2, vuoto) dei campi della griglia 7x6 = 42.

L'output sarebbe il numero della riga in cui inserire il disco. Poiché si tratta di un numero discreto compreso tra 1 e 7, suppongo che questo possa essere trattato come un problema di classificazione multiclasse.

Ma come posso generare esempi di formazione utilizzabili nell'apprendimento supervisionato?

L'obiettivo principale è vincere la partita, ma il risultato ovviamente non è noto quando si fa ogni tranne l'ultimo turno. Se permetto a due giocatori che decidono in modo casuale cosa fare l'uno contro l'altro migliaia di volte, sarà sufficiente prendere semplicemente tutti i turni effettuati dal vincitore di ogni round di gioco come esempi di allenamento? O devo farlo in un modo completamente diverso?

Modifica: come suggerito nei commenti, ho letto un po 'sull'apprendimento per rinforzo. Da quello che so capire, Q-Learning dovrebbe fare il trucco, cioè devo approssimare una funzione Q dello stato corrente e l'azione da intraprendere per essere la massima ricompensa cumulativa che inizia in quello stato. Quindi ogni passo sarebbe scegliere l'azione che si traduce nel valore massimo di Q. Tuttavia, questo gioco ha troppi stati per farlo, ad esempio come una tabella di ricerca. Quindi, qual è un modo efficace per modellare questa funzione Q?

Solo per offrire un'alternativa più semplice all'apprendimento del rinforzo, è possibile utilizzare l'algoritmo di base minimax per cercare buone mosse e utilizzare l'apprendimento automatico per valutare le posizioni della scacchiera.

Per chiarire, minimax costruisce un albero di gioco in cui ogni nodo è etichettato con il risultato delle foglie (1 = il giocatore A vince, 0 = il giocatore B vince), supponendo che A scelga le mosse che massimizzano questo numero e B sceglie le mosse che lo minimizza.

A meno che il gioco non sia molto semplice, non sarai in grado di costruire l'intero albero di gioco fino ai terminali. Dovrai invece fermarti in posizioni di tabellone non finite e valutare le foglie con un po 'euristico (essenzialmente la probabilità che il giocatore A vinca da una determinata posizione). Puoi lasciare che un algoritmo di apprendimento automatico come una rete neurale provi ad apprendere questa probabilità collegando quattro posizioni con risultati noti.

Per generare esempi di allenamento potresti costruire il tuo giocatore minimax con un semplice euristico, lasciarlo giocare mille volte, usare quei giochi per allenare la tua prima rete neurale, quindi lasciare che si paghi mille giochi e così via. Con un po 'di fortuna, il tuo sistema migliorerà con ogni generazione.

Ho scritto un post sul blog sull'utilizzo di minimax per giocare a connect quattro qualche tempo fa. Puoi vedere il codice in azione qui . Se hai bisogno di addestrare i tuoi modelli, puoi forse lasciarlo giocare un paio di migliaia di partite contro la mia implementazione minimax.