13 votos

Métrica objetiva para describir la habilidad frente a la suerte en los juegos que incluyen la aleatoriedad

Hay muchos juegos que aunque incluyan algún componente aleatorio (por ejemplo las tiradas de dados o el reparto de cartas) son juegos de habilidad. En otras palabras, hay una habilidad definida en cómo se puede jugar el juego teniendo en cuenta el componente aleatorio. Piense en el backgammon o el póquer como buenos ejemplos de este tipo de juegos.

Además, los jugadores principiantes o las personas ajenas al juego pueden no reconocer la destreza y atribuir las victorias únicamente a la suerte. A medida que se adquiere experiencia, se empieza a apreciar la destreza y se admite que hay algo más en el juego que la suerte. Incluso puede admitir que hay "más" habilidad que suerte. ¿Cómo podemos cuantificar esto? Cuánta "suerte" frente a la habilidad ? La gente puede tener sentimientos muy subjetivos sobre este equilibrio. Recientemente, leí a alguien que argumentaba que el backgammon es $9/10$ suerte, mientras que otro decía que es $6/10$ . Estas cifras significan muy poco, aparte de expresar sensaciones viscerales.

¿Podemos hacerlo mejor? ¿Podemos tener una métrica objetiva que nos dé una buena idea del componente de habilidad frente al de suerte en un juego?

Estaba pensando en lo siguiente: Dado un juego y un montón de datos empíricos sobre partidos entre jugadores con diferentes habilidades, una métrica podría ser:

¿Cuántos partidos de media necesitamos para tener una victoria global (balance positivo de victorias y derrotas) con probabilidad $P$ (utilicemos $P=0.95$ ) entre un jugador de alto nivel y un novato?

Para el juego de ajedrez esta métrica sería $1$ (o muy cerca de $1$ ). Para el juego de tijera-papel-piedra sería $\infty$ .

Es una medida objetiva (podemos calcularla a partir de datos empíricos) y es intuitiva. Sin embargo, existe una ambigüedad en cuanto a lo que significan los jugadores de alto nivel y los novatos. Los datos empíricos no bastan para clasificar a los jugadores como novatos o expertos. Por ejemplo, imaginemos que tenemos los resultados de 10.000 partidas de ajedrez entre 20 grandes maestros. Algunos serán mejores, otros serán peores, pero analizando los datos con el criterio que he definido, concluiremos que el ajedrez tiene un cierto elemento (significativo) de suerte. ¿Podemos hacer esto más robusto? Además, dado un conjunto de datos empíricos (resultados de partidos), ¿cómo sabemos que tenemos suficientes datos?

¿Qué otras propiedades queremos incluir? Tal vez una clasificación entre $[0, 1]$ El cero, que significa que no hay suerte, y el uno, que significa toda la suerte, sería más fácil de hablar.

También me alegra escuchar enfoques completamente diferentes.

0 votos

Una respuesta sencilla y aburrida: cuanto más dinero te lleves, mejor serás en el póker. Del mismo modo, si ganas todas las partidas de una duración razonable (por ejemplo, 9 puntos), eres el mejor jugador de backgammon.

0 votos

@badjohn No estoy pidiendo una forma de clasificar a los jugadores. Un sistema de clasificación Elo puede hacer el trabajo allí. Estoy interesado en una métrica que muestre cuánta habilidad vs. suerte tiene un juego. Mi título puede ser engañoso, lo actualizaré.

0 votos

Sí, pero si un jugador gana sistemáticamente a otro, eso demuestra que hay un elemento de habilidad. Deberías poder encontrar una prueba estadística para comparar el resultado con la hipótesis nula de que no hay habilidad.

4voto

Pete Caradonna Puntos 46

Un lugar natural para empezar, dependiendo de su formación matemática, podrían ser las generalizaciones cardinales modernas de la literatura sobre la votación. Considera el siguiente modelo de juguete, y siéntete libre de adaptar cualquier parte que no parezca apropiada para el problema en cuestión.

Datos : Digamos que tenemos una población fija y finita de jugadores $N$ que observamos jugar. Una única observación consiste en el resultado de un único partido entre dos jugadores $\{i \succ j\}$ para algunos $i,j \in N$ . Sea el espacio de los conjuntos de datos $\mathcal{D}$ consiste, para los fijos $N$ de todas las colecciones finitas de tales observaciones.

Concepto de solución : Nuestro objetivo aquí es doble: matemáticamente vamos a tratar de obtener un vector en $\mathbb{R}^N$ cuyo $i^\textrm{th}$ es la "medida del jugador $i$ en relación con todos los demás". Un jugador $i$ es mejor que el jugador $j$ por nuestra regla si el $i^\textrm{th}$ de este vector de puntuación es mayor que el $j^\textrm{th}$ . También nos gustaría que la magnitud de las diferencias en estos componentes fuera creciente en alguna medida de la diferencia de habilidades por pares (el vector de puntuación es cardenal para usar la jerga económica).

Editar : Este vector de puntuación no debe verse como una medida de la suerte frente a la habilidad. Pero lo que sí podremos hacer es utilizarlo para "limpiar" nuestros datos del componente generado por las diferencias de habilidad, dejando un residuo que podremos interpretar como "el componente de los resultados atribuible a la suerte". En particular, este "componente de suerte" vive en un espacio normalizado, y por lo tanto viene con un medio natural de medir su magnitud, que parece ser lo que usted busca.

Nuestro enfoque va a utilizar una generalización cardinal de algo conocido como el recuento Borda de la teoría del voto.

Agregación : Nuestro primer paso es agregar nuestro conjunto de datos. Dado un conjunto de datos, consideremos lo siguiente $N\times N$ matriz que lo "codifica". Para todos los $i,j \in N$ definir:

$$ D_{ij} = \frac{\textrm{Number of times $ i $ has won over $ j $}- \textrm{Number of times $ j $ has won over $ i $}}{\textrm{Number of times $ i $ and $ j $ have played}} $$

si el denominador es distinto de cero, y $0$ otra cosa. El ${ij}^\textrm{th}$ de esta matriz codifica la frecuencia relativa con la que $i$ ha vencido a $j$ . Además, $D_{ij} = -D_{ij}$ . Por lo tanto, hemos identificado este conjunto de datos con una simetría sesgada, de valor real $N\times N$ matriz.

Una forma equivalente de ver estos datos es como un flujo en un gráfico cuyos vértices corresponden al $N$ jugadores (todo flujo en un gráfico tiene una representación como matriz sesgada-simétrica y viceversa). En este lenguaje, un candidato natural para un vector de puntuación es un función potencial una función de los vértices a $\mathbb{R}$ (es decir, un vector en $\mathbb{R}^N$ ) tal que el valor del flujo en cualquier arista viene dado por su gradiente. En otras palabras, nos preguntamos si existe algún vector $s \in \mathbb{R}^N$ tal que, para todo $i,j \in N$ :

$$ D_{ij} = s_j - s_i. $$

Esto podría percibirse de forma muy natural como una métrica del "talento" dado el conjunto de datos. Si existiera un vector de este tipo, indicaría que las diferencias de habilidad podrían "explicar toda la variación de los datos". Sin embargo, por lo general, para una matriz de datos agregados dada, tal función potencial no suele existir (como esperaríamos, de acuerdo con nuestra interpretación).

Editar : Hay que tener en cuenta que la forma en que estamos agregando los datos (contando las victorias relativas) generalmente impedirá que exista tal función, incluso cuando el juego esté "totalmente determinado por la habilidad". En estos casos, nuestra $D$ tomará valores exclusivamente en $\{-1, 0 ,1\}$ . Siguiendo el enfoque que se expone a continuación, se obtendrá una función de puntuación que racionalice esta ordenación, pero el residuo no será necesariamente cero (sino que generalmente adoptará una forma específica, de un $N$ -ciclo de flujo conservador que pasa por cada vértice). Si se utilizara, por ejemplo, la puntuación de las partidas, los datos agregados tendrían una interpretación cardinal.

Construcción de una puntuación : La buena noticia es que existen las herramientas matemáticas para construir una función de puntuación que sea, en un sentido riguroso, el "mejor ajuste para los datos", incluso si no es una coincidencia perfecta (piense en cómo una nube de puntos de datos rara vez cae perfectamente en una línea, pero sin embargo podemos encontrar instructivo encontrar la línea que es el mejor ajuste para ella). Dado que esto se ha etiquetado como una pregunta blanda, me limitaré a dar un esbozo de cómo y por qué se puede construir dicha puntuación. El espacio de todas esas matrices de datos agregados admite en realidad una descomposición en el subespacio lineal de los flujos que admiten una función potencial, y su complemento ortogonal. Formalmente, se trata de una versión combinatoria de la descomposición de Hodge de la cohomología de Rham (pero si esas palabras no significan nada, no te preocupes por buscarlas). Entonces, hablando en términos generales, en el espíritu de la regresión clásica, podemos resolver un problema de minimización de mínimos cuadrados para proyectar ortogonalmente nuestra matriz de datos agregados en el subespacio lineal de los flujos que admiten una función potencial:

$$ \min_{s \in \mathbb{R}^N} \|D - (-\textrm{grad}(s))\|^2 $$ donde $-\textrm{grad}(s)$ es un $N\times N$ matriz cuya $ij^\textrm{th}$ elemento es $s_i - s_j$ .

Si está interesado en ver este enfoque utilizado para construir una clasificación de equipos de fútbol universitario, vea:

http://www.ams.org/samplings/feature-column/fc-2012-12

Si quiere leer un poco más sobre la maquinaria que subyace a esto, incluyendo una breve lectura sobre las conexiones con la literatura matemática de la votación, vea:

https://www.stat.uchicago.edu/~lekheng/meetings/mathofranking/ref/jiang-lim-yao-ye.pdf

0 votos

Gracias por su respuesta. No entiendo tu propuesta, en parte porque utilizas algunos términos que desconozco, en parte porque probablemente necesites más palabras para explicarlo. En particular, sería estupendo que explicaras cómo pasamos de los flujos a un único número. También parece que quieres considerar todos los flujos posibles, cuando intuitivamente, sólo deberíamos considerar los flujos de personas que tienen la mayor diferencia de experiencia entre ellos.

0 votos

Una pequeña cosa: parece que estás usando $N$ tanto como conjunto de jugadores, como la cardinalidad del conjunto. Creo que es mejor tener diferentes símbolos. $N$ suele ser la cardinalidad de un conjunto.

0 votos

@Thanassis Sí, eso es un desafortunado abuso de la notación de la economía. Así que, críticamente, nunca se pasa de un flujo a un solo número, se pasa de un flujo a un vector de números, un número por jugador en nuestro conjunto de datos. Estos números tienen la siguiente interpretación: si la puntuación si $i$ es mayor que la puntuación de $j$ nuestra métrica dice $i$ es mejor que $j$ dado los datos que se le han proporcionado

1voto

MikeMathMan Puntos 159

Encontré esto: ¿Cómo se mide la suerte frente a la habilidad en los juegos? en
boardgames.stackexchange.com

Los siguientes enlaces también pueden ser útiles y/o de interés general:

Criterio de Kelly
Edward O. Thorp
Daniel Kahneman


La ecuación del éxito: Desenredando la habilidad y la suerte en los negocios, los deportes y las inversiones
$\;$ por Michael J. Mauboussin
NOTAS SOBRE LA ECUACIÓN DEL ÉXITO

Habilidad verdadera estimada = Gran media + factor de contracción (media observada media general observada)

Michael Mauboussin: Tres cosas que hay que tener en cuenta para hacer una predicción eficaz


Inferencia bayesiana


Espero que el candidato pueda perdonarme por no centrarme en sus preguntas. Hace diez años podría haber sido más entusiasta, pero ahora todo lo que pude reunir fue proporcionar enlaces que cualquier persona interesada en los juegos debería encontrar interesantes.

¿Cuál es mi problema? Dos cartas:

AI

Hace diez años se pensaba que los "bots" de la IA tardarían varias décadas en superar a la humanidad en dos juegos:

Go (un juego de información perfecta)

O

Póker (un juego de información imperfecta/aleatoria)

Hoy es un hecho consumado.

Los investigadores que enfrentan a sus bots con jugadores humanos en el póquer pueden reclamar la victoria siempre que el rendimiento superior sea estadísticamente significativo.

GO es un animal diferente. Cualquier victoria contra un jugador profesional de 10 dan es "fuera de lo normal" (tira ese libro de estadísticas por la ventana).

0 votos

Gracias por los enlaces. Sería estupendo que ampliaras el texto para convertirlo en una respuesta. ¿Por qué crees que estos enlaces son relevantes? ¿Cuáles son los puntos principales? De un vistazo rápido me parece que sólo el documento de la ecuación del éxito podría contener algunas ideas útiles (aunque no se refiera a los juegos). La fórmula que das no tiene mucho sentido sin contexto, y el blogpost que la incluye no ayuda mucho.

0voto

Charles Puntos 41

En una línea similar a la de @Caradonna, una forma sería un estudio empírico de un gran torneo de ida y vuelta. En los juegos basados principalmente en la suerte, cabría esperar que las victorias se distribuyeran de forma relativamente equitativa. En los juegos más basados en la habilidad, se esperaría que las "victorias inesperadas" fueran infrecuentes.

Para un torneo de n equipos [A1, A2, A3 .... An], cada uno de los cuales tiene un determinado número de victorias [W1, W2, W3 ... Wn] su "puntuación de habilidad" sería simplemente la desviación estándar del número de victorias. La puntuación máxima se produciría cuando A1 gana a todos los equipos (W1 = n-1), A2 gana a todos los equipos que no son A1 (W2 = n-2), y así sucesivamente hasta An, que pierde todos sus partidos. En esta situación, la puntuación sería:

sqrt( ((n-1)/2 ^2 + (n-3)/2 ^2 + (n-5)/2 ^2 + ... + (n-(2n-1))/2 ^2)/(n-1) )

Para un n grande, esto se reduce a aproximadamente n/sqrt(12). Por ejemplo, con 100 equipos, se obtendrían unos 29.

Por otro lado, incluso si el juego fuera pura suerte, no se esperaría que cada equipo tuviera exactamente las mismas victorias. Se obtendría alrededor de 4,8 para 100 equipos.

Si quieres, puedes escalar esto adecuadamente para obtener una puntuación entre 0 y 1.

Uno de los problemas de este sistema sería que algunas partidas que son básicamente de pura habilidad (por ejemplo, el ajedrez) siguen teniendo victorias inesperadas, porque la "forma" humana -su nivel de rendimiento en cualquier partida o secuencia de partidas- varía. Los programas informáticos serían los mejores para dirigir este torneo, porque no cometen errores.

Una forma diferente de abordar el problema es la dificultad que tiene un jugador humano para aprender bien el juego: cuántas partidas hacen falta para convertirse en un "experto". El problema aquí es la subjetividad de la experiencia y la variabilidad de las curvas de aprendizaje humanas. Una métrica alternativa sería cuántas líneas de código se necesitan para crear el programa informático perfecto para un juego. Esto parece más objetivo, pero depende del tipo de lenguaje de programación, etc.

Tal vez una medida más objetiva, que podría ser factible en el futuro, implicaría el uso de la inteligencia artificial general. Un ordenador no está programado para jugar a un juego concreto, sino para aprender juegos de estrategia. Cuanto más juegue a cualquier juego, mejor lo hará (ya que recoge más datos sobre lo que funciona y lo que no). Por tanto, la medida de la habilidad del juego podría ser la probabilidad de que un ordenador que haya jugado 10 veces al mismo juego supere a la misma inteligencia artificial general que haya jugado 100 veces. (Los números 10 y 100 son arbitrarios, por supuesto). Se trataría de una puntuación entre 0 y 0,5, en la que un valor más cercano a 0 indicaría más habilidad.

i-Ciencias.com

I-Ciencias es una comunidad de estudiantes y amantes de la ciencia en la que puedes resolver tus problemas y dudas.
Puedes consultar las preguntas de otros usuarios, hacer tus propias preguntas o resolver las de los demás.

Powered by:

X