Puntuación de un modelo con "distancia a la verdad"

Question

Puntuar el rendimiento de un modelo de clasificación suele parecer algo abstracto (miren ustedes las puntuaciones AUC...). Siempre existe la puntuación de precisión, que tiene la ventaja de ser agradable y fácil de comprender y que es genial para explicar lo bien que funcionará el modelo a otra persona (como, por ejemplo, las personas que realmente van a utilizar las predicciones que hace). Intuitivamente, espero que exista un método similar para las predicciones probabilísticas, por ejemplo, una simple "distancia media a la verdad" del tipo:

| Truth | Prediction | Score |
| ----- | ---------- | ----- |
|   1   |     0.97   |  0.03 | 
|   0   |     0.35   |  0.35 |
|   1   |     0.76   |  0.24 |
|   0   |     0.42   |  0.42 |

La puntuación del modelo en su conjunto es la media de esas puntuaciones: 0,26 en este caso. Eso es bastante fácil de hacer manualmente, pero me sorprende que a) esto no es una métrica de puntuación común y b) no parece haber ningún método incorporado en la api scikit-learn.

Así que mi pregunta es la siguiente: ¿es la "distancia media a la verdad" una métrica de puntuación útil y, si la respuesta es no, por qué no?

Answer 1

La métrica que describes es, de hecho, muy común: es el error medio absoluto, o MAE. En scikit learn se puede encontrar en la sección submódulo métricas .

Normalmente se utiliza para tareas de regresión, no de clasificación, por lo que es posible que no se haya encontrado con él. No obstante, cuando fait se utilizan para comparar algoritmos de clasificación existen ciertas advertencias, por ejemplo:

• Por ejemplo, tiene problemas similares a la precisión cuando se utiliza con conjuntos de datos desequilibrados, en el sentido de que producirá puntuaciones altas para algoritmos que sólo predicen la clase mayoritaria (y, por tanto, no son útiles).
• El MAE no le dice si su clasificador predice mejor los positivos o los negativos.

Así que para responder a su pregunta: Es es una métrica de puntuación común y útil, pero menos utilizada para los clasificadores (más común para los regresores).

Answer 2

Además de la respuesta de @Denwid:

• El cambio de MAE a MSE (error cuadrático medio) le proporcionará una regla de puntuación adecuada.

• A continuación, puede tomar su raíz (=> error cuadrático medio) para obtener una cifra de mérito en la unidad predicha original para facilitar la interpretación.

• Los problemas a los que se refiere @Denwid con los datos desequilibrados y la falta de información sobre si la pérdida proviene de falsos positivos o falsos negativos tienen menos que ver con la elección de la función de pérdida (pérdida 0/1 para la precisión, error medio absoluto o error medio al cuadrado): es una consecuencia de "lanzar" una función de pérdida a todo el conjunto de datos, lo que será problemático incluso para cifras de mérito aparentemente inofensivas como la precisión total, a menos que se asegure de que las frecuencias de clase relativas coinciden con las de su escenario de aplicación.

  Pero..: Puede utilizar la pérdida de MSE en subgrupos de sus datos para obtener cifras de mérito de MSE que sean análogas a la sensibilidad, la especificidad, los valores predictivos, etc.
  En caso de que estés trabajando en R, mi paquete softclassval ofrece estas funciones. En nuestro artículo C. Beleites, R. Salzer y V. Sergo: Validation of Soft Classification Models using Partial Class Memberships: An Extended Concept of Sensitivity & Co. applied to Grading of Astrocytoma Tissues, Chemom. Intell. Lab. Syst., 122 (2013), 12 - 22. AAM en arXiv: 1301.0264