Sconfiggere un poker bot

C'è un nuovo bot di poker Open Source chiamato PokerPirate . Sono interessato a qualsiasi modo creativo in cui un'applicazione web potrebbe rilevare / contrastare / sconfiggere un bot di poker. (Questa è una discussione puramente accademica, nello stesso spirito con cui è stato scritto PokerPirate.)

Sconfiggere un bot dal punto di vista del server

1. Molti siti di poker online utilizzano input Captcha popup che vengono attivati ​​da attività sospette.

2. Alcuni siti di poker monitorano i tempi e gli schemi di gioco (ad esempio, lo scenario peggiore è un giocatore che gioca 24 ore su 24, 7 giorni su 7 e 16 tavoli continuamente, c'è una minima possibilità che questo sia un vero essere umano. (Tuttavia alcuni giocatori hanno la capacità di giocare mani molto grandi volumi che ad un occhio inesperto sembrerebbero un bot)

3. Lancialo glitch. Se sospetti che un giocatore sia un bot, cambia tutte le posizioni delle sue carte da gioco di pochi pixel sullo schermo, rendili diversi colori / disegni / motivi per 1/100 di mani e vedi se li lancia. Se non è in grado di catturare lo schermo, scadrà tutte le sue decisioni e questa è una prova del bot piuttosto conclusiva.

4. Il tempismo dice, se un giocatore del computer risponde alle opzioni in millisecondi alla volta senza pause di riflessione su decisioni importanti, questo potrebbe essere sospetto

5. Autocontrollo. Il sito web di poker pokertableratings.com estrae molti siti di grandi dimensioni. È stata accolta con un'accoglienza mista, alcuni amano la trasparenza, altri la odiano . Il vantaggio, tuttavia, è quello ci sono stati casi in cui le statistiche dei giocatori sospette (percentuali VPIP, percentuali PFR sono solo alcune di un gran numero di statistiche quantificabili che possono essere registrate) hanno portato a conclusioni di barare

6. Reti di classificazione artificialmente intelligenti potrebbero monitorare le statistiche quantificabili per classificare i truffatori disonesti oi giocatori robotici.

7. Ai tempi in cui il poker online era un'entità abbastanza nuova, c'erano voci e chiacchiere con prove limitate che alcune schermate del software client di poker di desktop di giocatori sospetti per vedere se stavano eseguendo programmi che li assistessero. Tuttavia (anche se ciò fosse vero) eseguire due computer per eseguire le due attività in modo indipendente risolverebbe il problema.

8. La condivisione di informazioni tra recidivi tra più siti sarebbe vantaggiosa per il settore, se solo fossero onorevoli e gestiti da persone competenti e responsabili

9. Alcuni robot sarebbero probabilmente abbastanza semplici in base alla progettazione, se potessi scoprire il loro stile di gioco e vedere come si comportano in situazioni identiche (nota che questo è possibile solo con robot non sofisticati che giocano a una strategia molto semplice) potresti scoprirli abbastanza rapidamente.

10. Un uso incoerente delle funzionalità del programma potrebbe favorire la genuinità di un giocatore. Prendi ad esempio molti siti di poker nel gioco hanno un pulsante "Passa quando tocca a me". Se ti viene distribuita una brutta mano e stai aspettando che un altro giocatore decida cosa fare, molti giocatori controlleranno questo pulsante. Un bot può utilizzare questi pulsanti. La differenza è che un bot sarebbe agli estremi della frequenza di utilizzo, probabilmente li userebbero sempre o per niente. Laddove un giocatore di solito potrebbe premere "autofold", ma a volte cliccheranno comunque su fold anche nelle condizioni più favorevoli. Ad esempio, un giocatore autentico di solito preme il fold automatico ma questa volta non lo fa. È piegato intorno a loro senza che nessun altro giocatore agisca, ora sono state presentate con la condizione più favorevole possibile. Ora se premono il piegamento, sarebbero stati fortemente inclini a premere il piegamento automatico dall'inizio. Questo è un comportamento incoerente / non ottimizzato / casuale, coerente con l'essere umano. Il tempismo indica quando si fa clic su queste funzionalità sono altri indicatori. È importante riconoscere che questi sono tutti indicatori e non prove conclusive. Tutti questi indicatori comportamentali possono essere simulati facilmente.

Sconfiggere un bot dal punto di vista dei giocatori

10. Prova a registrare e raccogliere quanti più dati possibile utilizzando software come PokerTracker

11. Tenta di identificare i pattern nel suo stile di gioco

12. Tenta di trovare relazioni tra la dimensione della puntata in proporzione al piatto / # giocatori e la forza della mano

13. Prova a calcolare i suoi range di mani . Un bot con puntate basse probabilmente non blufferà abbastanza frequentemente da costituire un problema strategico significativo, quindi costruire range di mani altamente accurati non dovrebbe essere troppo complicato.

14. Tentativo di trovare fughe nel suo gioco tramite analisi dei dati e tentativi ed errori. Una volta individuati fughe / schemi, tentare di sfruttarli ripetutamente ed evitare qualsiasi altra situazione.

Laddove un essere umano è in grado di adattarsi , i bot probabilmente lo sono meno e dove gli esseri umani sono appesantiti dalle catene dell'inclinazione , il pensiero orientato ai risultati e frustrazioni , i bot non lo sono. Puoi usarlo a tuo vantaggio.

Quindi, in sostanza, non c'è niente che puoi fare per fermarlo se il robot è abbastanza intelligente da simulare ritardi nel tempo reale durante le decisioni, oltre a creare schemi di gioco ragionevoli e realistici. Metti alcune condizioni casuali e una semplice back-chat (il lessico dei giocatori di poker è di solito abbastanza limitato ) e avrai un giocatore AI che sarà piuttosto difficile da rilevare.

Cosa potrebbero fare i bot per evitare il rilevamento

La chiave per evitare il rilevamento sarebbe pensare al problema da più angolazioni possibili. Stai tentando di simulare un comportamento umano intelligente in un mondo molto piccolo e restrittivo. La maggior parte delle simulazioni comportamentali che puoi eseguire sono abbastanza ovvie, ma più il tuo bot è incoerente e imprevedibile, meno è probabile che venga scoperto.

1. Crea programmi di gioco realistici (ad esempio, 3-5 volte a settimana, 4 ore per sessione con le settimane dispari qua e là durante l'anno).

2. Esegui programmi per prendere decisioni su computer separati, controllando un computer zombi nel caso in cui qualsiasi cattura dello schermo del sito.

3. Randomizza i tempi delle azioni (non agire immediatamente, attendi 0,5-2 secondi per azione)

4. Tempo a disposizione per decisioni importanti. Se una decisione è al limite, calcola la decisione e attendi un po 'per simulare il pensiero.

5. Uso casuale delle funzionalità del software client. Simula le pause per il gabinetto facendo clic sul pulsante "Distribuiscimi" su tutti i tavoli e fai una pausa di 5 minuti ogni tanto.

6. La chat simulata, la chat poker è spesso molto semplice, mai di solito discussione o dibattito. Dì cose come "sfortunato" o "stfu" nei momenti rilevabili appropriati. Oppure chiedi al programmatore di monitorare il suo bot e di impegnarsi in chat durante l'esecuzione.

7. Assicurati che i movimenti del mouse siano realistici. Se i tavoli sono affiancati , non prendere una decisione sul tavolo in alto a sinistra, quindi fallo immediatamente sul tavolo in basso a destra. La maggior parte dei software dei siti offre ora scorciatoie da tastiera, che potrebbero essere preferibili da utilizzare come previsto per il movimento del mouse.

8. Fai cose che semplicemente i classificatori di intelligenza artificiale non si aspettano. Ad esempio, una volta all'anno telefonare loro con una semplice query non complessa ("Aiuto, non posso accedere oggi!" O "Internet non funziona!") È improbabile che faccia molta differenza, ma se la persona che lavora per società di poker è abbastanza intelligente da poterlo riconoscere come un indicatore affidabile.

9. Perdite sporadiche. L'inclinazione può essere simulata e il bot può giocare male e perdere qualche soldo ogni tanto. Tutti si inclinano a un certo punto.

La preoccupazione è anche che i siti web di poker non si preoccupano particolarmente se i bot sono in esecuzione sulle loro reti, ogni giocatore vale una grande quantità di rake e teoricamente da un punto di vista commerciale puramente cinico l'unico svantaggio sarebbe una cattiva stampa se venisse scoperto .

Anche quando sono stati scoperti exploit palesi, (cerca su Google gli scandali della rete Cereus o Absolute Poker Scandal , è abbastanza scioccante) il business sembra sopravvivere e rimanere in buona salute, perdendo solo giocatori ben istruiti e vincenti (di cui non ce ne sono molti). Ciò aumenta la percentuale di giocatori meno qualificati nella rete, il che a sua volta attira di nuovo i buoni giocatori. È un buon vecchio pescato 22. Un ottimo argomento per una corretta regolamentazione del mercato.

È importante notare che per ogni partita esiste un equilibrio di nash . Il poker online ha una sequenza temporale nel modo in cui funziona ora, dovrà spostarsi in qualcosa di più sociale (webcam / voip) affinché chiunque possa fidarsi in futuro (se le persone si fidano di esso) poiché i robot alla fine prenderanno il sopravvento altrettanto matematicamente superiore e psicologicamente immune. La comunità di poker AI è molto attiva , alimentata dal mondo accademico e / o dai benefici in conto capitale.

Versioni più semplici del poker come il poker limit sono state quasi risolte in piccoli spazi di ricerca. È solo questione di tempo prima che versioni più complesse del gioco (variazioni No Limit / Pot Limit Omaha ecc.) Diventino battibili per i giocatori artificiali.

Conclusione

I bot sofisticati non possono essere rilevati fino a quando il settore non passa a un ambiente di gioco online più social. Questo non risolverà il problema, ma sicuramente renderà più difficile per i bot vincere ai livelli inferiori. Abbiamo già visto un leggero cambiamento con il rilascio di PKR , 3D e una versione più interattiva e con meno mani all'ora degli altri siti in cui il multitablaggio è piuttosto difficile da realizzare per un giocatore.

Il problema risente anche della natura del settore, un motivo in più per attenersi ai siti Web più grandi e affidabili in cui la reputazione è diventata sempre più integrata nel loro modello di business. La mancanza di trasparenza e la finta trasparenza non aiutano la causa.

La vera sfida attualmente per gli sviluppatori di bot è scrivere un algoritmo vincente, non è così banale come sembra. Tutti coloro che giocano a poker si considerano bravi, vincenti o in pareggio, il che semplicemente non è vero. Questo è il motivo per cui le persone continuano a giocare, anche quando perdono denaro perché si illudono di essere semplicemente sfortunate, o il loro stile di gioco viene frainteso. Questa arroganza e debolezza nella psicologia umana è costata ai giocatori perdere un sacco di soldi ed è la ragione fondamentale per cui il poker può ancora essere redditizio.

Il poker è un gioco estremamente complicato che richiede anni per diventare bravo (il vecchio adagio rimane vero, "Dieci minuti per imparare, una vita da padroneggiare"). L'elemento fortuna è estremamente limitato a lungo termine.

Come ogni altra professione, per diventare bravo, devi studiare per centinaia e centinaia di ore e giocare per molte migliaia. Capirai cose che i giocatori meno esperti non capiranno, individuerai cose che i meno esperti non vedranno. L'apprendimento va avanti per un tempo molto molto lungo, forse più a lungo di quanto potremo mai vivere. È un gioco complicato.

Quante volte hai visto un cash game high stakes in televisione e hai sentito qualcuno gridare "È una chiamata facile!" dimostrare così che i dilettanti in realtà non capiscono o riconoscono la raffinatezza nel gioco, e credono veramente che il gioco a quel livello sia ancora in definitiva semplice. Non lo è. Quei giocatori ad alta posta in gioco (la maggior parte del tempo) sono lì in televisione perché sono davvero davvero davverobene. Probabilmente c'è anche un complicato meta gioco in corso, di cui il nostro amauer non può riconoscere l'esistenza. Il dilettante non starebbe davanti a un maestro di scacchi gridando loro di muovere il loro cavaliere, ma a causa della dinamica del poker essendo un'informazione imperfetta, la loro psicologia li fa credere veramente a ciò che stanno dicendo. Come negli scacchi, le decisioni possono essere complesse, delicate ed estremamente importanti per il gioco in generale. Con l'aumentare della complessità del gioco, le decisioni banali non sono più così banali, perché il tuo avversario se le aspetta.

Una volta che avanzi il tuo bot o il tuo gioco ai livelli, inevitabilmente ti imbatterai in una popolazione più numerosa di giocatori più abili. Quindi, la complessità della tua strategia dovrà salire al livello successivo, tenendo conto delle immagini della tabella , del bilanciamento della gamma , del bluff sofisticato e intelligente (cioè non solo bluffare a debolezza, bluffare a range e bluffare su immagine ecc.), con un'analisi più dettagliata della portata della mano. È davvero un gioco diverso man mano che si sale.

Una volta che un bot vincente è stato scritto, senza dubbio il programmatore avrà abbastanza abilità, conoscenza e buon senso per applicare il bot in modo non rilevabile. Questo è banale per loro.

Quindi non c'è davvero niente che puoi fare. Se vuoi giocare online, comprendi i rischi. Non rischiare mai più denaro di quanto puoi permetterti e cerca di tenere registrazioni accurate delle spese in modo da non avere una stima errata, irrealistica e in definitiva dannosa delle tue capacità. Fai uno stop loss e lascia il tavolo se non hai un vantaggio o se non sei sicuro di avere un vantaggio! Ovviamente, se tutti lo facessero, nessuno vincerebbe, questa è la natura predatoria e sfruttatrice del gioco, è da lì che viene la concorrenza ed è questo che lo rende divertente.

Ci sono tre aree separate da considerare. Il bot deve capire lo stato del tavolo, prendere una decisione e inviare la decisione all'host.

Capire lo stato della tabella è molto più semplice se viene inviata in rete in una forma riconoscibile o visualizzata all'utente come testo standard. Innanzitutto, rendi il riconoscimento delle immagini l'unica opzione, quindi rendilo il più difficile possibile. Visualizza le carte in 3D e cambia lentamente l'orientamento e la posizione delle carte. Anima piccoli tremolii o fuochi d'artificio davanti alle carte in modo che qualsiasi schermata possa essere illeggibile, ma ci vuole del tempo anche per determinarlo.

Non c'è niente da fare per prendere la decisione. Cercare di decidere se una decisione è stata presa da un essere umano o meno è come un test di turing con quasi nessuna informazione.

L'invio della decisione può essere reso difficile utilizzando di nuovo il 3D. Rendi difficile inviare pacchetti direttamente o inviare una decisione in altro modo con qualsiasi mezzo diverso dal clic su un pulsante con il mouse. Spostare leggermente i pulsanti ad ogni azione o farli fluttuare lentamente intorno all'area di gioco in attesa di una decisione. Disabilita le funzionalità del tipo di accessibilità che consentono di trovare o manipolare i pulsanti.

PokerPirate, come quasi tutti i bot di poker mai scritti, funziona raschiando lo schermo e simulando i clic del mouse in un'applicazione di poker per Windows. Pertanto, il fulcro del sistema è la sua capacità di riconoscere gli oggetti nel gioco e compiere azioni nella finestra. Per quanto intelligente possa essere a poker, probabilmente ha ancora problemi con queste operazioni di base.

Pertanto, i modi ovvi per contrastare questo bot includerebbero:

1. Implementa un CAPTCHA, prima della partita o quando altri fattori suggeriscono che un giocatore potrebbe essere un bot.
2. Rendi la grafica del tavolo più complicata o cambia il tema durante il gioco.
3. Rileva movimenti e clic del mouse insolitamente veloci e / o robotici (un essere umano non muoverà mai un mouse in una linea matematicamente perfetta).

Idealmente l'unica soluzione valida è creare una logica honeypot che attiri un bot impegnato fornendo la tentazione di una condizione logica più favorevole che favorisca le risposte comportamentali più ideali del bot. Una volta che il bot è impegnato nell'honeypot, è necessario alimentare continuamente le condizioni del bot che preferisce presumendo che il bot non abbia un timeout impostato. Quindi il bot può essere misurato, registrato e studiato. Oltre al bot, dovresti anche isolare i dati di rete e di sessione per lo studio, a condizione che il bot non si connetta tramite TOR.

In questa situazione le considerazioni deterministiche adatte a differenziare un bot da un essere umano sono meno gravi, tuttavia, le considerazioni deterministiche al momento dell'identificazione del comportamento del bot diventano più gravi. Sfortunatamente, il proprietario del bot può apportare modifiche al bot per impedire tale identificazione se tale proprietario è a conoscenza della condizione del vaso di miele o della sua considerazione logica.

Sconfiggere i bot di poker può assumere due forme: puoi provare a identificarli e bandirli dal sistema, oppure puoi semplicemente batterli a poker. Vincerli a poker è la domanda accademica più interessante. :-)

Vedi qui per alcuni documenti su come battere i robot del poker: http://www.cs.cmu.edu/~sganzfri/

Guarda questo post

Questo post contiene anche alcuni buoni consigli su come contrastarli.

Un altro pensiero sul fare scherzi con lo schermo per rendere difficile la scansione:

Crea la carta da un'intera sfilza di colori diversi: vicino in termini di occhio umano ma non uguale. Ciò renderebbe più difficile scegliere le cose da leggere. Il rovescio della medaglia, metti scritte false sulla carta con colori che l'occhio umano non separerà dallo sfondo.

Il problema con i robot è il fatto che giocano meglio di giocatori umani decenti o che possono aspettare 24 ore su 24, 7 giorni su 7, che compaiano giocatori cattivi e poi provare a mungerli?

Inoltre, sarebbe "legittimo" o "barare" per qualcuno avere un computer seduto accanto a lui mentre gioca a poker, consultando l'altro computer per un consiglio?

Non sono sicuro di come si possa affermare che la soluzione space per il limit poker sia "risolta" quando la strategia ottimale per un giocatore sarà influenzata da ciò che si sa sugli avversari. Come può un tentativo di analizzare i giocatori affermare di essere così perfetto da non poter essere migliorato?

Se hai accesso a molte corrispondenze, puoi adottare un approccio di data mining. La forza di gioco di un'IA dovrebbe essere abbastanza consistente, mentre probabilmente ci sono schemi semplici per gli umani: più deboli nei primi round di riscaldamento e la forza si deteriora dopo aver giocato per molto tempo. Inoltre, i tempi delle decisioni umane probabilmente aumentano quando sono in gioco più soldi.

Se hai accesso ai movimenti del mouse (o almeno alle posizioni dei clic, il che è vero anche per le app Web), dovrebbe essere abbastanza semplice riconoscere i bot, ad eccezione di quelli più sofisticati. Gli esseri umani non muovono il mouse in una linea retta esatta, hanno periodi di accelerazione e rallentamento, distribuzioni della posizione dei clic descrivibili statisticamente, ecc.

Dai un'occhiata a Ajax Control Toolkit NoBot :

NoBot utilizza alcune diverse tecniche anti-bot:

* Forcing the client's browser to perform a configurable JavaScript calculation and verifying the result as part of the postback. (Ex: the calculation may be a simple numeric one, or may also involve the DOM for added assurance that a browser is involved)

* Enforcing a configurable delay between when a form is requested and when it can be posted back. (Ex: a human is unlikely to complete a form in less than two seconds)

* Enforcing a configurable limit to the number of acceptable requests per IP address per unit of time. (Ex: a human is unlikely to submit the same form more than five times in one minute)

Una soluzione al 100% è impossibile, quello che mi propongo è una soluzione che farà risparmiare denaro utilizzando l'IA contro se stesso. Avere un'istanza dell'IA di PokerPirate in esecuzione sul lato server e giocare come un giocatore invisibile in ogni partita. Se un giocatore esegue troppe azioni identiche, probabilmente sta eseguendo un'istanza di PokerPirate. Questa è una specie di Honeypot o trappola in cui l'attaccante può cadere. L'attaccante può difendersi da questo honeypot rendendo il suo bot meno efficace. Quindi questo sta creando una venuta di "Gatto e topo" in cui l'attaccante può sempre rubare dei soldi e il difensore può sempre risparmiare dei soldi.

Ci sono modi molto più semplici. sì. molti suggerimenti sono giusti e necessari. ma circa il 90% delle frodi viene rilevato in modo troppo semplice.

se qualcuno lascia che un bot lavori per lui, dopo qualche tempo vorrà che un secondo bot funzioni per lui. (un'altra macchina o qualsiasi altra cosa) ma: userà la stessa password, poiché è difficile ricordarne 2 (<--- sarcastico)

cos'è rimasto: controlla gli account con lo stesso comportamento di gioco e lo stesso hash della password.