¿Qué prueba debe utilizarse para detectar los desequilibrios de los equipos en una partida?

Question

Estoy jugando al juego de iPhone/Steam Hero Academy. Es un poco como el ajedrez, excepto que hay algo de aleatoriedad, y al principio de una partida los jugadores eligen qué equipo van a utilizar, cada uno con diferentes puntos fuertes y débiles. Ambos jugadores pueden elegir el mismo equipo.

Alrededor de 400 de nosotros jugamos en una liga no oficial, donde registramos nuestras partidas en línea para la clasificación Elo. Sin embargo, no estoy seguro de cuántos son jugadores activos.

Tengo el historial de victorias y derrotas de cada enfrentamiento entre los cuatro equipos. Los empates son muy raros. El enfrentamiento más raro tiene 143 partidos; el más común tiene 260. Hay 3.234 partidos en la base de datos.

¿Cuál es la prueba adecuada para determinar si los equipos tienen la misma fuerza?

Supongamos que los desequilibrios de piedra-papel-tijera son indeseables. Es decir, si el equipo A gana al equipo B, que a su vez gana al equipo C, que a su vez gana al equipo A, tenemos un juego desequilibrado. Todos los enfrentamientos deben ser justos.

Una complicación es que muchos jugadores tienen equipos preferidos, de modo que si el equipo A es muy popular entre los mejores jugadores, parecerá más fuerte. Sospecho que tendremos que ignorar este efecto por ahora.

Otra complicación es que hay una ligera ventaja por ir primero, a pesar de nuestros esfuerzos por mejorarla con un hándicap. Ignoremos también este efecto.

Answer 1

Creo que es una mala idea ignorar los puntos fuertes de los jugadores, pero puede ser difícil separar completamente los posibles defectos del sistema de clasificación de las posibles ventajas de una opción frente a otra.

Podría intentar la siguiente prueba para cada par de opciones A y B. Su hipótesis nula es que la fórmula de clasificación es exacta y que los juegos son independientes. Calcule el número de victorias que predice la fórmula de clasificación para la opción A y compárelo con el número de victorias observado. Si la fórmula de clasificación predice que el jugador que utiliza la opción A ganará con probabilidad $p$ , añada $p$ al total de victorias esperadas, y añadir $(p(1-p))$ a la varianza total según la hipótesis nula. Si los partidos no son abrumadoramente asimétricos, debería poder utilizar una aproximación normal, ya que tiene más de $100$ puntos de datos para cada partido. Determina lo extremo que fue el resultado observado en términos de desviaciones estándar respecto a la media prevista.

Dado que se aplicaría esta prueba para cada una de las posibles coincidencias, cabría esperar más falsos positivos si se utiliza un umbral de significación típico para una sola prueba. Por lo tanto, en lugar de pedir que los resultados sean significativos en el $0.05$ nivel en al menos uno de $6$ pruebas, es posible que desee requerir $0.05/6 \approx 0.008$ o sobre $2 \frac23$ desviaciones estándar de la media en cualquier dirección para rechazar la hipótesis nula.

Si se rechaza la hipótesis nula, no significa necesariamente que el equipo A tenga ventaja sobre el equipo B. También podría ser que la fórmula de las puntuaciones fallara, lo que podría ocurrir en los partidos asimétricos. Si tienes suficientes datos, puedes intentar comparar jugadores con clasificaciones similares, donde puedes esperar que la fórmula de clasificación sea más precisa.