¿Cuántos partidos hacen falta para confiar en el porcentaje de victorias registrado?

Question

Dada una contienda entre dos oponentes en la que no se sabe quién es el favorito, ¿cuántos partidos deben jugarse para alcanzar un determinado nivel de confianza en quién es el favorito?

Por ejemplo, el jugador A y el jugador B pueden jugar una partida y determinar un ganador. Hay una cierta probabilidad de que el jugador A gane, de la que tendríamos una idea bastante aproximada si jugasen 1.000.000 de partidas. Empiezan a jugar. El jugador A gana tres partidas y el jugador B gana una. El % real de victoria del jugador A es del 75%, pero la partida podría ser fácilmente una moneda al aire y sólo estamos viendo la varianza. ¿Cuántas partidas harían falta para tener un 90% de seguridad de que el % de victorias global se aproxima a un solo número?

Answer 1

La respuesta a esto realmente no es muy adecuada para el intercambio de pilas matemáticas. En pocas palabras, es "ve a buscar intervalos de confianza". Este es una introducción al tema.

Answer 2

Depende de cuál sea la probabilidad real de ganar $p$ es.

Dado que su pregunta es simplemente binaria, un juego con dos resultados, puede utilizar el siguiente enfoque.

Una versión del límite de Chernoff da una estimación útil, suponiendo $p\geq 1/2,$ entonces deja que $X_i=1$ si el juego $i$ es una victoria. Deja que $X=X_1+\cdots+X_n$ el número de victorias en $n$ juegos, y dejar que $\hat{p}=X/n,$ sea el porcentaje empírico de victorias. Entonces tenemos, por ejemplo, $$ Pr[X>np+x]=Pr[\hat{p}>p+(x/n)]\leq \exp\left(-\frac{x^2}{2 n p(1-p)}\right) $$ donde $\epsilon=x/n$ se puede elegir. Consulte la Wikipedia sobre los límites de Chernoff para obtener más detalles/versiones de estos límites dado lo que sabe y si el límite que desea es aditivo o multiplicativo, o incluso de dos lados. Como $p$ se acerca a cero o a uno, la convergencia es aún más rápida, ya que el producto $p(1-p)$ se acerca a cero. Por lo tanto, se puede poner $p=1/2$ para un enfoque conservador.