Come valutare automaticamente le prestazioni di un giocatore in un gioco?


8

Supponiamo che io abbia un gioco completo. Non ho voti Elo dei giocatori. Il mio scopo è valutare le prestazioni di un giocatore nel gioco basandosi esclusivamente sulle sue mosse. Questo può essere fatto automaticamente usando un programma di scacchi?

Il risultato può essere la sua valutazione Elo approssimativa o solo un valore che indica la sua forza o il tasso di errore.

Se aiuta, può essere fornito un database dei giochi del giocatore. Ancora una volta, senza rating Elo.

La mia motivazione è semplice. Gioco a scacchi su Internet e vorrei monitorare automaticamente i miei progressi, basati sui giochi stessi, non sulla valutazione dei siti. Sono un livello (superiore) per principianti.

Una soluzione semplice è annotare il gioco usando qualsiasi motore di computer e tracciare il numero di?!,? e ?? segni. Tuttavia, non è molto preciso e mi piacerebbe avere più idee :)


Qualsiasi valutazione basata su un singolo gioco avrà un enorme margine di errore. Il tuo "progresso" andrà su e giù costantemente e dubito che sarai in grado di tracciare qualsiasi cosa oltre a "progressi" a lungo termine con questo metodo (che in pratica si riduce a una media rispetto ai giochi). Le valutazioni degli scacchi (o valutazioni in quasi tutti gli altri sport) evitano questo problema e non vedo nulla di sbagliato nell'usare la valutazione online come indicatore della tua forza.
user1583209,

Risposte:


16

Le classificazioni del sito ai controlli a tempo lento possono essere abbastanza affidabili per i server in cui i giocatori forti si riuniscono (ICC, FICS per citarne alcuni) poiché le valutazioni riflettono MOLTO da vicino la tua vera forza di gioco se hai giocato abbastanza giochi. Per sistemi di classificazione molto standardizzati come USCF e FIDE / ELO, noterai che le diverse classi di classificazione tendono a indicare i tipi di errori che quei giocatori stanno ancora facendo. Il Miglioratore di scacchi di NM Dan Heisman fa un ottimo lavoro discutendo i tipi di errori che i giocatori commettono nelle classi di valutazione.

Hai provato molti libri di autotest là fuori? L' esame di valutazione degli scacchi di Igor Khmelnitsky e il test, la valutazione e il miglioramento degli scacchi di Danny Kopec sono libri eccellenti che ti consentono di monitorare i tuoi progressi vedendo come ti comporti contro posizioni di prova classificate.

Il tuo approccio "confronta le mie mosse con un motore" è un altro modo per farlo, ma ancora una volta, il ?? /? le mosse indicano in realtà solo errori tattici, non errori strategici o posizionali o persino comportamentali o di gestione del tempo che potresti commettere.

Ecco perché giocare a giochi OTB / online a controllo del tempo lenti contro un'opposizione uguale a più forte e farli rivedere + criticare da giocatori più forti è un modo efficace per migliorare. I tuoi errori in ogni categoria (tattica, conoscenza, processo di pensiero, gestione del tempo, ecc.) Vengono evidenziati e puoi semplicemente misurare i progressi in termini di errori che hai smesso di fare.

Anche se una variante divertente puoi provare con un motore a casa: perché non estendere il tuo metodo di valutazione del motore per osservare visivamente la qualità / prestazioni di un giocatore tramite grafici di valutazione? In altre parole, prendi i punteggi di valutazione del motore per mossa e tracciali (alcuni software gratuiti come SCID fanno questo per te) sulle mosse.

Ad esempio: due principianti di livello avrebbero un gioco simile a:

inserisci qui la descrizione dell'immagine

Nota quanto sono frastagliati. Entrambe le parti commettono molti terribili errori (pendenze delle punte!) E anche con quale frequenza non riescono a sfruttare i terribili errori dell'altra persona.

I picchi sono sempre divertenti da guardare: inserisci qui la descrizione dell'immagine

Due giocatori intermedi (USCF 1400-1600) potrebbero avere giochi simili a: inserisci qui la descrizione dell'immagine

Sembra frastagliato, ma nota come l'asse y (valutazione del motore) sia molto più piccolo ... indicando che questi giocatori sono più esperti e giocano a scacchi di qualità superiore rispetto ai principianti.

Per un confronto finale, un gioco Grandmaster del 1911 sarebbe simile al seguente:

inserisci qui la descrizione dell'immagine

Non sono necessari commenti qui :) Questi ragazzi davvero non commettono molti errori, vero?

Se potessi escogitare la tua euristica per mappare le pendenze + la scala di un grafico di valutazione sull'abilità / prestazione del giocatore , forse questo è un modo per andare? :)


2
Nota che vorrei mettere in guardia il fatto che i punteggi di valutazione del motore non sono così affidabili in alcune posizioni sfumate e alcuni sapori affamati di materiale considereranno un'apertura del tipo di Gambit in modo molto diverso rispetto a un umano. Anche il tempo in cui metti il ​​motore in posizione di mezzo movimento mentre ripassi il gioco influenzerà un po 'le cose. Stai attento! :)
shivsky,

Quale programma usi per generare questi grafici? Ho scid + stoccafisso, ho questa opzione?
Uri,

6

Per un livello molto preciso della qualità di un giocatore, puoi utilizzare l'eccellente strumento fornito da www.chess-db.com. Ti consente di caricare i tuoi giochi e dopo alcuni minuti fornisce la qualità di entrambi i giocatori in percentuale rispetto alle mosse migliori di un motore potente.

Questa è la pagina per caricare un file PGN: http://chess-db.com/public/game_upload.jsp

E questo è un esempio dei risultati: http://chess-db.com/public/game.jsp?id=Pablo%20Bento.Shredder%20Android.107755008


2

Quello che stai chiedendo non esiste per mia conoscenza. Tuttavia, questa è la mia idea:

Avrai bisogno di campioni con le seguenti caratteristiche, (1) Posizione degli scacchi, (2) Mossa effettuata nella posizione, (3) Valutazione del giocatore che ha effettuato la mossa.

Diciamo che hai 1 miliardo di campioni. È possibile addestrare un algoritmo informatico su questi campioni in grado di prevedere per ciascuna mossa in una posizione la qualità della mossa rispetto a una valutazione. Tutte le valutazioni per tutte le mosse possono essere calcolate in media per ottenere la valutazione approssimativa del giocatore e in effetti la qualità del suo gioco.

Questa è un'idea approssimativa che può essere ulteriormente raffinata.


Questo non funziona davvero. Nella maggior parte dei giochi, sarai relativamente rapidamente in posizioni non nel database - sì, anche se in qualche modo hai accesso a un miliardo di database di giochi. E vieni punito se il tuo avversario gioca debolmente - dopo 1.e4 e5 2.Qh5, non importa quale gioco del Nero avrà una valutazione media bassa, perché quell'apertura è giocata molto più a livelli più bassi di quelli più alti. (Diamine, anche 1 ... e5 stesso ha probabilmente una valutazione media piuttosto bassa.) Quello che succede dopo le aperture conosciute è molto più indicativo della forza di un giocatore di quanto a lungo seguano la teoria.
DM

Ho dato questa risposta 5 anni prima di AlphaZero. Ora possiamo solo chiedere ad AlphaZero di annotare i nostri giochi per noi e dirci quanto stiamo andando bene. Probabilmente siamo quasi al punto di poter persino chiedere PERCHÉ una mossa è buona o cattiva. Questo è ciò di cui hai davvero bisogno per migliorare. Le valutazioni umane attuali sono sopravvalutate.
Rafiek,

2

CAPS di chess.com. Confronta il punteggio CAPS da chess.com (richiede l'abbonamento), alla tabella presente in un grafico su questo: https://www.chess.com/article/view/better-than-ratings-chess-com-s-new-caps -sistema . Anche di interesse: https://www.chess.com/article/view/who-was-the-best-world-chess-champion-in-history

Nota di attenzione: i punteggi dei tappi per chiunque in un determinato gioco sono volatili; meglio fare una media dei punteggi CAPS su un lotto di giochi. In questo momento, per quanto ne so, CAPS può, per estensione, prevedere una valutazione Elo da una serie di mosse. Un'altra nota: i punteggi CAPS esistono nel vuoto senza rispetto dei controlli temporali. Gioco a scacchi meglio con controlli dei tempi più lenti rispetto a quelli di una partita a proiettili da 1 minuto. CAPS vedrà questa differenza nella forza di gioco e di conseguenza assegnerà un punteggio inferiore ai giochi di proiettili. Questo non significa che non sono la stessa persona che ha giocato ai giochi di controllo del tempo più lenti!


0

Ecco alcune idee su quali parametri misurare. Numero di errori per partita. Quante volte hai una posizione uguale o migliore dopo 10 mosse, 15 mosse, 20 mosse. Quante volte riesci a usare gli errori del tuo avversario. Quanto spesso disegni o vinci endgames disegnati in modo oggettivo. Quante volte riesci a trovare combinazioni di accoppiamento forzato. Con quale frequenza difendi con successo i giochi finali persi oggettivamente. Quanto spesso perdi in tempo.

Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.