Vamos a empezar con un ejemplo. Decir Alice es un entrenador de pista y quiere elegir un atleta para representar al equipo en un próximo evento deportivo, un sprint de 200 metros. Naturalmente, ella quiere recoger el corredor más rápido.
- Una estrictamente correcto regla de puntuación sería de nominar al corredor más rápido del equipo por encima de los 200 m de distancia. Esto maximiza exactamente lo que el entrenador Alice quiere en esta situación. El atleta con el mejor rendimiento esperado se selecciona - esta es una feria discriminatoria de la prueba.
- Una adecuada regla de puntuación sería elegir un atleta que es capaz de ejecutar más de 200m de la forma más rápida, pero el tiempo se redondea a la unidad más cercana a la mitad de un segundo. El mejor atleta, así como posiblemente algunos otros atletas también será capaz de pasar esta prueba. Todos los atletas que son seleccionados de esta manera son muy competitivos, pero claramente este no es un perfecto discriminatoria de la prueba de velocidad.
- Un semi-regla de puntuación sería elegir un atleta que es capaz de correr a 200 metros por debajo de un competitivo umbral de tiempo, por ejemplo, a 22 segundos. Como antes, la mejor atleta, así como algunos otros atletas también será capaz de pasar esta prueba. De manera similar, todos los atletas que son seleccionados de esta manera puede ser muy competitiva, pero claramente no sólo esto no es un perfecto discriminatoria de la prueba, pero también puede ir horriblemente mal (si elegimos una demasiado exigente o demasiado estrictos de tiempo). Tenga en cuenta que no está francamente mal.
- Un inadecuado regla de puntuación sería elegir el atleta con la más fuerte de las piernas, por ejemplo, que pueda hacer sentadilla con la mayoría de los pesos. Sin duda, cualquier buen sprinter probablemente tiene piernas muy fuertes, pero esta prueba significa que algunos de los chicos del peso de elevación equipo de excel aquí. Claramente un levantador de pesas en una 200m carrera iba a ser catastrófico!
Mientras que algo ha trivializado el ejemplo de arriba muestra lo que ocurre con el uso de reglas de puntuación. Alice fue la previsión espera sprint tiempo. Dentro del contexto de la clasificación nos previsión de probabilidades de minimizar el error de un clasificador probabilístico.
- Una estrictamente correcto regla de puntuación, como el Brier score, garantiza que la mejor puntuación sólo se logrará cuando estamos tan cerca de la verdad probabilidades como sea posible.
- Una adecuada regla de puntuación, como el continuo ranking de puntuación de la probabilidad (PCI), no garantiza que la mejor puntuación sólo será alcanzado por un clasificador cuyas predicciones son la más cercana a la verdadera probabilidades. Otro candidato clasificadores podría alcanzar los PCI de las puntuaciones que coincide con el óptimo clasificador.
- Un semi-regla de puntuación, al igual que las AUC-ROC, no sólo no garantiza que el mejor rendimiento se logra por un clasificador cuyas predicciones son la más cercana a la verdadera probabilidades, pero también es (potencialmente) posible para mejorar en los valores de AUC-ROC moviendo las probabilidades pronosticadas lejos de sus verdaderos valores. Sin embargo, bajo ciertas condiciones (por ejemplo. la distribución de clases es un a priori conocidos en el caso de las AUC-ROC) tales reglas pueden aproximar una adecuada regla de puntuación. Byrne (2016) "Una nota sobre el uso de los empírica de las AUC para la evaluación probabilística de las previsiones" plantea algunos puntos interesantes acerca de las AUC-ROC.
- Un inadecuado regla de puntuación, como la Precisión, ofrece poca o ninguna conexión con nuestra tarea original de la predicción de probabilidades tan cerca como sea posible a la verdad de las probabilidades.
Como vemos semi-regla de puntuación no es perfecto, pero no es absoluta catastróficas. Puede ser bastante útil en la predicción en realidad! Cagdas Ozgenc tiene un gran ejemplo aquí donde se trabaja con un inadecuado/semi-norma apropiada es preferible a una estricta norma apropiada. En general, el término semi-regla de puntuación no es muy común. Se asocia con la indebida de las reglas que pueden ser sin embargo útil (por ejemplo. AUC-ROC o MAE de clasificación probabilístico).
Finalmente, darse cuenta de algo importante. Como carreras de velocidad se asocia con piernas fuertes, por lo que es correcta clasificación probabilístico con Exactitud. Es poco probable que un buen sprinter tendrá debilidad en las piernas y, de igual modo es poco probable que un buen clasificador tendrá mala Precisión. Sin embargo, la equiparación de la Exactitud con buena clasificador de rendimiento es como comparar la fuerza de las piernas con un buen sprint rendimiento. No del todo infundada, pero muy plausible para conducir a la falta de sentido de los resultados.
