Poker bot battle (NLHE HU BOT vs top del mondo)

[Luciom]

Strano che debba leggere sta notizia da un blog del financial times che mi linka a un blog di economia che seguo ...

Poker Bot Battles Humans to a Draw

Poker Pros Win Man vs. Machine Showdown - But Not by Much - NBC News

Thread su 2+2

WCGRider, Dong Kim, Jason Les and Bjorn Li to play against a new HU bot - Poker News - News, Views and Gossip

Cliffs: Carnegie Mellon university fa questo bot con dei soldi della ricerca in AI di microsoft; sfida alcuni top del mondo HUNLHE (credo 100x? not sure per la depth devo ancora leggermi tutto il thread). Oppo umani: WCGRider e altri 3 top sul serio (nn Negreanu o pupazzi di quel tipo). 80k mani (20k per oppo), 9bb/100 di result pro umani.

Quindi per ora il bot non è forterrimo ma 9 bb/100 (senza rake) vs i top del mondo poteva andare peggio.

CMU dice che è un "pareggio statistico" perchè il bot ha perso 700k su 170M di "bet", fuffa disgustosa perchè a poker si misurano le bb/100 nn il result / la dimensione dei pot giocati , cmq se serve per proseguire con la ricerca pazienza.

Nota: era a soldi "semifinti" cioè gli umani non potevano perdere, avevano 100k da spartirsi in base ai result vs bot in caso che "team umani" avesse vinto (come è accaduto)

[Luciom]

Per chi vuole googlare e magari addare altri link etc etc, il nome del bot è claudico.

[coldfireman]

(credo 100x? not sure per la depth devo ancora leggermi tutto il thread).

bui 50/100 stack 20k, quindi 200x

Comunque sia ho seguito la sfida su twitch per qualche ora e ho visto che gli umani hanno trovato facilmente leak nel bot, ad esempio già alla prima giornata hanno scoperto che il bot "impazzisce" vs donkbet di 1bb e l'hanno sfruttata infinito.

Quindi bot molto leakato -> c'è ancora tempo per gli umani per fare soldi

[coldfireman]

Link alla sfida su Twitch
Sotto nella descrizione ci sono i link ai 4 canali twitch in cui si è svolta, se si va nel profilo dei 4 canali su trasmissioni passate ci sono ancora (non so se rimarranno pubbliche per sempre) i video della sfida

[banditos]

Alcune mani del team human vs claudico:
WCG has Ks2s
WCG raises to 250, bot calls
Flop 7sQcQs (500)
bot checks, WCG bets 250, bot calls
Turn 3s (1000)
bot checks, WCG bets 1000, bot calls
River Kd (3000)
WCG bets 3000, bot raise to 18500 all-in, WCG??


Doug Polk has 9dAd
Doug Polk raises to 250, bot 3-bets to 1000, Doug Polk calls
Flop 9h4c2s (2000)
bot bets 2000, Doug Polk calls
Turn 9h4c2s2c (6000)
bot bets 6000, Doug Polk calls
River 9h4c2s2cKh (18000)
bot bets 11000 all-in, Doug Polk tanks...

Doug Polk has Ad2c
bot raises to 250, Doug Polk calls
Flop 3d8s2dTd (500)
Doug Polk bets 100, Bot raises to 625, Doug Polk raises to 1850, bot calls
Turn 3d8s2dTd (4200)
Doug Polk bets 4200, bot raises to 13650, Doug Polk tanks..... and raises to 17900 all-in!

edit: da aggiungere anche qualche info sulla distribuzione delle mani ovvero il fatto che la stessa mano e lo stesso board sarà giocato sia dal bot vs umano sia dall'umano vs bot. Ad esempio la mano in cui Doug Pork ha Ad2c sarà giocata anche da jason les ma in quel caso sarà il bot a ricevere Ad2c

[Luciom]

@banditos linka tutte le fonti thx
@coldfireman

Thx per la profondità, fonte? con reload? si poteva andare deep? chiedo perchè imo il gioco esplode di complessità + si va deep e l'edge degli umani dovrebbe migliorare (anche se sono meno allenati a giocare deep rispetto che 100-200x)

Comunque sia ho seguito la sfida su twitch per qualche ora e ho visto che gli umani hanno trovato facilmente leak nel bot, ad esempio già alla prima giornata hanno scoperto che il bot "impazzisce" vs donkbet di 1bb e l'hanno sfruttata infinito.


Assurdo... dato che era il fantaleak di snowie e si era discusso della cosa almeno 18 mesi fa... incredibile che la CMU non abbia risolto almeno un pò la cosa.

Ottimo anche il link di twitch

[Luciom]

edit: da aggiungere anche qualche info sulla distribuzione delle mani ovvero il fatto che la stessa mano e lo stesso board sarà giocato sia dal bot vs umano sia dall'umano vs bot. Ad esempio la mano in cui Doug Pork ha Ad2c sarà giocata anche da jason les ma in quel caso sarà il bot a ricevere Ad2c


Molto figo se c'è garanzia che gli umani siano in "incommunicado"; confermato anche che il runout di flop+turn+river è il medesimo? link a questo?

[gudariak]

A quanto pare il Bot era un CallingStationBot…

Un paio di link… e un paper relativo a una versione precedente del bot..

Human Pros Dominating Poker AI - Robotics Trends
Poker pros win against AI, but experts peg match as statistical draw - Techie News

https://www.cs.cmu.edu/~sandholm/tartanian.AAMAS08.pdf

[coldfireman]

@banditos linka tutte le fonti thx
@coldfireman

Thx per la profondità, fonte? con reload? si poteva andare deep? chiedo perchè imo il gioco esplode di complessità + si va deep e l'edge degli umani dovrebbe migliorare (anche se sono meno allenati a giocare deep rispetto che 100-200x)

Comunque sia ho seguito la sfida su twitch per qualche ora e ho visto che gli umani hanno trovato facilmente leak nel bot, ad esempio già alla prima giornata hanno scoperto che il bot "impazzisce" vs donkbet di 1bb e l'hanno sfruttata infinito.


Assurdo... dato che era il fantaleak di snowie e si era discusso della cosa almeno 18 mesi fa... incredibile che la CMU non abbia risolto almeno un pò la cosa.

Ottimo anche il link di twitch

Fonte li ho visti giocare Comunque c'è scritto sempre al link a twitch, all'inizio della descrizione:

Each hand starts with each player having 200 big blinds. One big blind is $100, and one small blind is $50.

Quindi non possono andare deep, ogni mano è indipendente dalle altre, si riparte ogni volta da 200 bb.

[banditos]

yy anche il runout è uguale, i quattro umani ( che erano Wcgrider, Asianflushie, Donger Kim, Jason Les quindi parliamo tra i top nlhe hup) giocavano 2 alla volta, uno in una stanza "privata" l'altro all'interno delle sale del casinò (senza poter comunicare tra loro) e la distribuzione delle mani era inversa ed il runout folp/turn/river il medesimo. Appena trovo link lo posto nel frattempo altre mani interessanti:
Dong Kim has 6d7s
Dong Kim raises to 250, bot 3-calls
Flop 9dKd2s (500)
bot checks, Dong Kim bets 375, bot calls
Turn 9dKd2s6h (1250)
bot checks, Dong Kim checks
River 9dKd2s6h6s (1250)
bot bets 125, Dong Kim raises to 1625, bot raises to 19375 all-in, Dong Kim tanks.....

Dong Kim has 9cTd
bot raises to 250, Dong Kim calls
Flop 9dAh5h (500)
Dong Kim bets 100, bot raises to 450, Dong Kim calls
Turn 9dAh5hKc (1400)
Dong Kim checks, bot bets 700, Dong Kim calls
River 9dAh5hKc9h (2800)
Dong Kim checks, bot bets 18600 all-in, Dong Kim tanks.....

[Luciom]

Quindi è confermato che questa fosse l'ultima versione di tartanian? quello dovrebbe essere il bot che ha crushato tutti gli altri bot nell'ultimo campionato annuale tra bot.

Quindi non possono andare deep, ogni mano è indipendente dalle altre, si riparte ogni volta da 200 bb.


Ok perfetto, non ho ancora aperto tutto perchè mi sto leggendo il thread di 2+2 (100 pag)

[Luciom]

Dong Kim has 6d7s
Dong Kim raises to 250, bot 3-calls
Flop 9dKd2s (500)
bot checks, Dong Kim bets 375, bot calls
Turn 9dKd2s6h (1250)
bot checks, Dong Kim checks
River 9dKd2s6h6s (1250)
bot bets 125, Dong Kim raises to 1625, bot raises to 19375 all-in, Dong Kim tanks.....

Questa è davvero sick , anche perchè quindi pure il bot donkbetta 1bb

[coldfireman]

Quindi è confermato che questa fosse l'ultima versione di tartanian? quello dovrebbe essere il bot che ha crushato tutti gli altri bot nell'ultimo campionato annuale tra bot.

Si è lui, fonte Wikipedia

Originally called Tartanian, a version of the program won a July 2014 tournament against other computer programs.

[coldfireman]

Questa è imho una mano interessante

L'action è riassunta nella scritta a destra.
River Doug tank folda, poi si scoprirà che il bot aveva J3o senza quadri

[Luciom]

River Doug tank folda, poi si scoprirà che il bot aveva J3o senza quadri


Credo che la questione cruciale lì sia quanto spesso fa quello shove con le busted purtroppo non hanno fatto lo scelta di watson a jeopardy di postare anche il grado di confidence e/o le frequenze.

Cioè qui sarebbe davvero figo se bot dicesse cosa calla, cosa shova, se shove è l'unica raise-size che implementa etc etc. Btw non mi è chiaro quanta parte if any delle scale al turn calla solo (e son parecchie le scale che può avere al turn).

Inoltre non credo che calli tutti i 3x ma forse sbaglio.

Insomma c'è davvero una ton di roba non detta che fa tutta la differenza.

[coldfireman]

Si purtroppo non avendo info accurate sul bot non si possono analizzare troppo le giocate.

Un'altra possibile leak che secondo me sul finale della sfida hanno scoperto (o almeno sembrava che Doug ne stesse approfittando date alcune giocate fatte, purtroppo non me le sono salvate) è che il bot quando deve sizare raise river su pot medi e ha il nut pusha, invece con bluff fa size big ma lasciandosi dietro gli spiccioli. Su questo fatto obv non ho alcuna certezza, magari è solo un caso che siano capitate mani così.

[Luciom]

Mi sembra di aver colto un problema di approccio dell'algoritmo del bot. Da quel che ho capito il bot gioca instant tutte le street tranne il river in cui tanka infinito (2-3 min ogni river) per agire calcolando "on the fly". Se devo bettare dei soldi credo che l'approccio giusto sia il contrario, tankare inf preflop (o al max al flop) e poi agire instant.

In pratica il bot agisce nash "dato il passato" al river, ed è credibile che ci riesca, solo che se il passato è suboptimal lo è anche river e nash al river su passato suboptimal significa spesso poter fare errori da una megaton di bb/100.

Notare che il team di sviluppatori non sa niente di poker e non ha costruito nessuna euristica di partenza per il gioco, nel senso che il bot quel che fa lo fa perchè ci è arrivato "da solo" nessuno gli ha detto che di norma i reg decenti fanno x y z.

Il che è impressive... ma potrebbe essere il motivo per il quale il bot è ancora "indietro" pur avendo a disposizione algoritmi sofisticati e tanta capacità di calcolo.

Obv che con quell'approccio se/quando il bot batterà i top umani significherà risultato "totale", però imo rallenta le cose di molto (tipo 3-5 anni a naso).

[coldfireman]

Se devo bettare dei soldi credo che l'approccio giusto sia il contrario, tankare inf preflop (o al max al flop) e poi agire instant.

Il problema che con questo approccio il bot dovrebbe creare un albero decisionale veramente enorme. Se impiega 2-3 minuti per risolvere il river, figuriamoci dal preflop. Ovviamente ad oggi, con la forza computazionale che abbiamo. Magari tra qualche anno riusciranno a tenere questo approccio e non far tankare il bot per una settimana ad ogni mano

[Luciom]

Il problema che con questo approccio il bot dovrebbe creare un albero decisionale veramente enorme. Se impiega 2-3 minuti per risolvere il river, figuriamoci dal preflop.


Non deve risolvere il gioco solo trovare una strat "good". Ci sono vari algoritmi di AI per ripulire l'albero davvero tanto alla ricerca di una soluzione satisfying piuttosto che ottimale, però servono delle euristiche.

Imo alberta che RISOLVE limit huhe con la regret minimization (starta giocando contro sè stesso senza regole a caso e quando perde parte dal presupposto di riprovarci per non perdere e riprova finchè non risolve etc etc) ha tiltato un pò gli altri... mentre altrove vedi approcci molto + grossolani (dal punto di vista accademico) ma efficaci, tipo il bot di GO programmato da un tizio francese di università tier3 che gioca montecarlo (in ogni spot randomizzza un pò di albero e ottimizza rispetto a questo subtree) ed è tipo on par con un 3dan.

Nei bot di scacchi è pieno di euristiche btw.

Ah e inoltre, un tot di cose le puoi aver già calcolate prima e usare la strat calcolata prima come soluzione parziale, mica devi ricalcolare tutto dall'inizio ogni volta.

Insomma è evidente che l'intento sia accademico e non quello di trovare ASAP un bot che batta gli umani (come invece è stato fatto con deep blue) + forti sempre e comunque.

[Zaibakk]

Ho seguito la sfida e confermo tutto, aggiungo qualche fonte:

Claudico - Wikipedia, the free encyclopedia
https://www.cs.cmu.edu/news/brains-v...em-competition
Brains Vs. Artificial Intelligence: Carnegie Mellon Computer Faces Poker Pros in Epic No-Limit Texas Hold’Em Competition-CMU News - Carnegie Mellon University

Claudico altro non è che Tartanian 8, rinominato così per la sua tendenza a limpare, cosa che personalmente trovo molto interessante.

Un altro suo comportamento bizzarro, riscontrato varie volte, è stato quello di fare dei bluff molto grossi lasciandosi pochissimo dietro pochissimo per poi foldare al push del giocatore umano.

Questa mano è un esempio, Claudico aveva 76 ma non ricordo i semi (in cui su bet 4200 raisa a 13650 lasciandosi dietro 4250 e folda al push su piatto totale di 35750).



P.S.: Altro che pareggio statistico, il bot è stato massacrato. 80K mani è imho un campione abbastanza significativo considerando che:
1) siamo in HU
2) tutte le mani giocate vs un umano sono riproposte e parti inverse ad un altro (comprese textures)
3) tutti i push prima del river splittano il piatto a pot equity