Cómo evaluar la calidad de probabilidad del estimador de experimentos de Bernoulli?

Question

Dado que tengo un conjunto de experimentos de bernoulli, cada uno con una diferente y desconocido probabilidad de $p_i$ y un resultado $x_i$, y un estimador que para cada experimento da una predicción de la probabilidad de que el evento, yo quiero medir la predicción de la calidad del estimador.

Ejemplo: tengo una pila de n "desleal" de monedas, cada una con diferente probabilidad de $p_i$ para los jefes y los $1-p_i$ colas. Las probabilidades son desconocidas y puedo voltear cada una de las monedas sólo una vez. Se supone que hay una "moneda volteando experto" que puede tener un vistazo de cerca a cada una de las monedas antes de voltear y hacer una estimación de las probabilidades, basado en la forma, el tamaño, la anchura, la regularidad y así sucesivamente. Después de que el experto hace su predicción, la moneda se volcó y el resultado se nota.

Después de que todas las monedas se da la vuelta, quiero medir la calidad de los expertos fue, por ejemplo, en una escala entre 0 y 1, donde 1 significa predicción perfecta y 0 significa pura aleatoriedad. Yo también estaría interesado en el sesgo / varianza de la predictor.

Answer 1

Se puede cuantificar la calidad del estimador, calculando el total de surprisal de todos los coin flips.

Supongamos que el experto hace predicciones $q_i$ por cada moneda. Entonces, dado indicador variables para las monedas que salga cara $x_i$, el total de surprisal es:

\begin{align} \sum_i\left[ -x_i\log q_i - (1-x_i)\log (1-q_i)\right]. \end{align}

El valor esperado de la surprisal dado los verdaderos valores de $\{p_i\}$ es la cruz, la entropía: \begin{align} \sum_i \left[-p_i\log q_i -(1-p_i)\log (1-q_i)\right]. \end{align} Es no negativo, y alcanza su valor mínimo (la entropía de $\{p_i\}$) si y sólo si $p_i = q_i \forall i$.

Si se resta la entropía de la cruz-la entropía, se obtiene la relación de la entropía (cuyo valor mínimo es cero). Si usted toma $e^{-x}$ de eso, usted tiene un número en $[0, 1]$ tal y como quería, con un razonable probabilística de la interpretación.

Answer 2

Si entiendo tu pregunta correctamente, usted puede ser que desee comprobar hacia fuera esta pregunta. Como he explicado allí, una manera de evaluar la calibración de probabilidad de las predicciones es con una regla de puntuación. Un ejemplo común de una regla de puntuación es el Brier score: $$BS = \frac{1}{N}\sum\limits _{t=1}^{N}(f_t-o_t)^2$$ where $f_t$ is the forecasted probability of the event happening and $o_t$ es 1 si el evento ocurrió y 0 si no.

Por supuesto, el tipo de regla de puntuación que usted elija puede depender de qué tipo de evento que usted está tratando de predecir. Sin embargo, esto debe darle algunas ideas para seguir investigando.

Predicción perfecta con el Brier score en realidad sería 0 aunque, por lo que podría tomar de $1 - BS$ si se que la calidad es importante para usted. Nota a pesar de que el otro extremo de puntuación (0 o 1 dependiendo de si usted decide voltear la Brier score) en realidad no sería pura aleatoriedad, sino que más bien representan llegar a la respuesta equivocada todo el tiempo.

Answer 3

A la respuesta anterior, puede ser útil, pero es complicado y no estoy seguro de cómo aplicarlo. Pensar en términos simples, esto es un caso especial de la prueba de si una persona tiene o no poderes psíquicos (realmente no es diferente de una evaluación científica de la mecánica y la física del tirón de la moneda). Obviamente psíquicos capacidad tendría que ser definida como hacer algo mucho mejor que por azar. Me gustaría, en primer lugar queremos definir lo que es suficiente. La dificultad es decidir cómo mucho mejor que la estimación aleatoria es y lo aleatorio de adivinanzas va a hacer. Si todas las monedas eran de la feria de elección al azar sería 0,5 y así tal vez decir nada más de 0.75 Luego se prueba la hipótesis de que la persona que tiene poderes psíquicos está haciendo a un lado la hipótesis de que una binomial de parámetro p es <= 0,75 frente a la alternativa de que es mayor. Como un estimador he elegido la binomial de parámetro para successfullu llamar a cara o cruz y la varianza de mi estimador de p(1-p)/n. La dificultad añadida es que las monedas no son justas y los investigadores individuales son desconocidos. Yo todavía definir la probabilidad de contestar al azar de los jefes o de las colas y el 0,5 es lo que yo pondría a prueba en contra. Sin embargo desleales de las monedas no pueden estadísticos de las estrategias que podrían conducir a una mejor que la probabilidad de que la tasa de éxito pero tampoco indican la habilidad con la que el individuo coin flips o poderes psíquicos. Para ilustrar, supongamos que la media para el pis es de 0,80. Luego, después de ver las cabezas para arriba con mucha más frecuencia que las colas podríamos pasar a una todas las cabezas de la estrategia y tienden a ser correcta cerca del 80% del tiempo. Esto supone randomguessing hasta que estemos convencidos de que la cabeza se produce con mucha más frecuencia que las colas y en ese punto estamos de cambiar a todos los jefes. Así que sin saber el pis o, al menos, sus promedios no puedo decir lo que la tasa de éxito de indicaría habilidad. Comparar la estimación aleatoria no es el estándar para vencer en este caso. Tenga en cuenta que mi argumento sólo tiene sentido si la pila de monedas es muy grande.

Answer 4

Otra forma de evaluar la calidad es mirar el Diagrama de Fiabilidad. Esto no inmediatamente dar un valor entre 0 y 1, pero puede ser utilizado para una primera evaluación visual.