Applicazioni di MCTS / UCT

MCTS / UCT è un metodo di ricerca dell'albero dei giochi che utilizza un algoritmo bandito per selezionare nodi promettenti da esplorare. I giochi vengono giocati fino al loro completamento in modo casuale e i nodi che portano a più vittorie vengono esplorati più pesantemente. L'algoritmo del bandito mantiene un equilibrio tra l'esplorazione di nodi con alte percentuali di vincita e l'esplorazione di nodi sconosciuti (e nella sua forma pura non utilizza necessariamente una funzione di valutazione euristica). I programmi basati su questa tecnica generale hanno ottenuto risultati sorprendenti in Computer Go .

Le ricerche MonteClolo basate sul bandito sono state applicate ad altri problemi di ricerca? Ad esempio, sarebbe un approccio utile per approssimare le soluzioni a MAX-SAT, BKP o altri problemi di ottimizzazione combinatoria? Ci sono delle caratteristiche particolari di un problema (strutturale / statistico / ecc.) Che suggerirebbero se un approccio stile bandito sarebbe efficace?

Esistono problemi deterministici noti che sarebbero totalmente resistenti ai metodi del bandito, a causa della natura dello spazio della soluzione?

Questa non è una risposta completa, ma alcune osservazioni di base sull'applicazione di questo al MAX-SAT.

$7/8$$x=0$$x=1$$x=0$$x=1$$7/8$$7/8$

$7/8$$NP$$7/8$euristico che usi, anche se indovini perfettamente, ci sono ancora formule insoddisfacenti per le quali il backtracking concluderà che sono insoddisfacenti solo dopo molti passaggi esponenziali. Limiti inferiori sulle lunghezze delle prove di risoluzione producono questi risultati. Un riferimento è:

Pavel Pudlák, Russell Impagliazzo: limite inferiore per algoritmi DLL per k-SAT (versione preliminare). SODA 2000: 128-136

Per quanto riguarda la questione di quali caratteristiche rendono un problema suscettibile di approcci basati sul bandito, questo documento descrive il comportamento di UCT in vari spazi di ricerca:

http://www.cs.cornell.edu/~raghu/Raghuram_Ramanujan_files/mcts11.pdf

Saluti, Cameron

Questo recente documento di indagine elenca l'applicazione di MCTS a una serie di problemi di ricerca e ottimizzazione diversi dai giochi, nella Sezione 7.8:

http://pubs.doc.ic.ac.uk/survey-mcts-methods/survey-mcts-methods.pdf

http://ieeexplore.ieee.org/xpl/freeabs_all.jsp?arnumber=6145622

Per quanto riguarda i domini che sono totalmente resistenti ai metodi basati sui banditi, non sono a conoscenza di alcun tipo di mano. Gli scacchi sono un'omissione lampante della letteratura MCTS, probabilmente a causa di "stati della trappola" che danneggiano la ricerca, ma anche a causa del fatto che i giocatori di scacchi del computer sono così ottimizzati e bravi in ​​questi giorni che è improbabile che qualsiasi nuovo approccio faccia un'ammaccatura su di loro.

Saluti, Cameron