Justificar y elegir una regla de puntuación adecuada

Question

La mayoría de los recursos en la correcta reglas de puntuación mencionar un número de diferentes reglas de puntuación como el registro de la pérdida, Brier score o esférica de puntuación. Sin embargo, a menudo no dan mucha orientación sobre las diferencias entre ellos. (Anexo A: Wikipedia.)

Escoger el modelo que maximiza el logarítmica puntuación corresponde a escoger el de máxima verosimilitud del modelo, que parece ser un buen argumento para el uso logarítmica de puntuación. Hay similares justificaciones para Brier o esférica de puntuación, o de otras reglas de puntuación? Por qué iba alguien a usar uno de estos en lugar de logarítmicas de puntuación?

Answer 1

Por qué iba alguien a usar uno de estos en lugar de logarítmicas de puntuación?

Así que lo ideal, siempre nos distinguir el ajuste de un modelo a partir de la toma de una decisión. En Bayesiana a la metodología, el modelo de puntuación y selección siempre debe hacerse uso de la probabilidad marginal. A continuación, utilizar el modelo para hacer predicciones probabilísticas, y su función de pérdida le dice cómo actuar en esas predicciones.

Por desgracia, en el mundo real, el rendimiento a menudo dicta que debemos confundir el modelo de selección y la toma de decisiones y para el uso de una función de pérdida para adaptarse a nuestros modelos. Aquí es donde la subjetividad en la selección del modelo se arrastra, porque tienes que adivinar lo mucho que diferentes tipos de error que le costará. El ejemplo clásico es un método de diagnóstico para el cáncer: la sobreestimación de alguien probabilidad de que el cáncer no es bueno, pero subestimando es mucho peor.

Por otro lado, si usted está buscando orientación sobre cómo escoger una regla de puntuación, también puede ser que desee para buscar orientación en la selección de una función de pérdida o el diseño de una función de utilidad, como creo que la literatura sobre esos dos temas es mucho más voluminoso.