Evaluar qué jugador "gana" una serie de predicciones

Question

Un grupo de amigos que hace predicciones sobre el resultado de las elecciones y nos gustaría evaluar que las predicciones están más cerca de la final "resultado". Por ejemplo, Aquí hay una tabla de predicciones para 4 partes (a, B, C, D) y el final de "resultado" de las elecciones:

| Party  | Andrew | Bob  | Claire | Dominic | Eva  | Outcome |
|--------|--------|------|--------|---------|------|---------|
| A      | 44     | 41   | 44     | 45      | 43   | 44      |
| B      | 36     | 41   | 43     | 40      | 42   | 41      |
| C      | 7      | 8.5  | 5      | 7       | 8    | 7       |
| D      | 8      | 3    | 5      | 5       | 4    | 3       |
| Others | 5      | 6.5  | 3      | 3       | 3    | 5       |
| Sum    | 100%   | 100% | 100%   | 100%    | 100% | 100%    |

Es tentador utilizar la fórmula para la desviación estándar: $$ \sigma = \sqrt{\frac{\sum_{i=1}^{n}(x_i - \mu)^2} {n}} $$ para calcular cada jugador de la desviación de la final de "resultado". Por ejemplo, Eva la desviación estándar es: $$ \sigma_E = \sqrt{\frac{(43-44)^2+(42-41)^2+(7-7)^2+(4-3)^2+(3-5)^2} {5}} = 1.26 $$ que es el más bajo de la parcela. Sin embargo, este no es un uso correcto de la desviación estándar de la fórmula, ya que no estamos midiendo el st. dev. de una muestra con un determinado media. Además, la suma de las predicciones para el 4 partes + Otros siempre la suma de hasta 100 por lo que el "libre" predicciones " son en realidad 4, no 5. Mis preguntas son:

1. Este cálculo válido?
2. Hay una mejor manera de formular el problema, sin entrar en el análisis paramétricos?

Answer 1

La cantidad que usted ha especificado no es una desviación estándar, debido a que $\mu$ no es la media de predicción.

Se llama raíz cuadrada de la desviación, y es una medida de la precisión.

Sin embargo, no es necesariamente una adecuada medida de la precisión en este caso.

1) la varianza de proporciones de muestra es mayor cerca de $\frac{1}{2}$ que cerca de los extremos-en cierto sentido es "más fácil" de conseguir dentro de unos pocos por ciento de una proporción muy pequeña de una cerca de $\frac{1}{2}$, por lo que puede exactitud en el peso en diferentes regiones de acuerdo a qué tan difícil sería para predecir las proporciones en la región.

2) en términos de la predicción de los resultados de las elecciones, la relación entre las proporciones y los resultados pueden ser relativamente compleja, y depende del tipo particular de elección-un voto es manejado de manera muy diferente a la hora de votar por un presidente Norteamericano (donde la precisión en nada, pero las dos de arriba, no en todos) en comparación con la votación de una StackExchange moderador de la elección, el Irlandés de la cámara de representantes o el Senado Australiano (donde la precisión en la "pequeña parte" de los votos puede ser mucho más importante).

Answer 2

Usted podría utilizar una "función de puntuación adecuada", que estaba destinado sólo para su propósito! (Voy a ampliar esta respuesta cuando en un lugar más estable, en el tren ahora ...)