¿Cuándo es apropiado usar una incorrecta puntuación regla?

Question

Merkle y Steyvers (2013) escribe:

Para definir formalmente una adecuada regla de puntuación, sea f una probabilístico previsión de un ensayo de Bernoulli d con la verdadera probabilidad de éxito p. Adecuado reglas de puntuación son métricas cuyos valores esperados se reducen al mínimo si f = p.

Entiendo que esto es bueno porque queremos animar a los meteorólogos para la generación de pronósticos que honestamente reflejan sus verdaderas creencias, y no quiero darles incentivos perversos para hacer lo contrario.

Hay ejemplos del mundo real en el que es adecuado el uso de una mala regla de puntuación?

Merkle, E. C., & Steyvers, M. (2013). La elección de una estrictamente correcto regla de puntuación. Análisis De La Decisión, 10(4), 292-304.

Answer 1

Precisión (es decir, el porcentaje correctamente clasificado) es una mala regla de puntuación, por lo que, en cierto sentido, las personas lo hacen todo el tiempo.

De manera más general, cualquier regla de puntuación que las fuerzas de predicciones en un pre-definido de la categoría va a ser incorrecta. La clasificación es un caso extremo de esto (la única permitida, los pronósticos son 0% y 100%), pero el pronóstico del tiempo es probablemente también un poco inadecuado--mi emisoras locales se parece a la de informe, la probabilidad de lluvia en 10 o 20% intervalos, aunque yo apostaría el modelo subyacente es mucho más preciso.

Adecuado reglas de puntuación también asume que el pronosticador de riesgo neutral. Esto es a menudo no es el caso de humanos reales a los meteorólogos, que normalmente son de riesgo-negativas, y puede que algunas aplicaciones se benefician de una regla de puntuación que reproduce ese prejuicio. Por ejemplo, usted podría dar un poco de peso extra para P(lluvia), ya que llevar un paraguas, pero no la necesidad es mucho mejor que estar atrapado en un aguacero.