Cómo medir un clasificador del rendimiento cuando se está cerca del 100% de las etiquetas de clase pertenecen a una clase?

Question

En mis datos, tengo una variable de clase, que se denota como $C$. Esta clase de valores de la variable se ${0, 1}$ (binario). Casi todas las observaciones de $C$ 0 (cercana al 100%, más precisamente, el 97%). Me gustaría que un "rendimiento" de la prueba en diferentes modelos de clasificación (podría ser exactitud). Lo que me temo que pasa es que si tengo un modelo de clasificación que siempre clasifica a cualquier observación en clase 0, entonces que modelo será el 97% de precisión (aunque no considera que cualquier otras variables).

¿Hay algún conocido que las pruebas de rendimiento para la clasificación de los modelos de datos de tratar con muy raras eventos?

Answer 1

Algunas posibilidades que vienen a mi mente.

Buscando en el global tasa de éxito no es generalmente una muy buena idea, ya que dependerá de la composición de la prueba de establecer si el rendimiento de las diferentes clases de diferencia. Así, al menos, usted debe especificar (y justificar) la frecuencia relativa de las clases en sus datos de prueba a fin de obtener un valor significativo.

En segundo lugar, como @Shorack ya se dijo, especificar qué tipos de error son lo importante. A menudo, el clasificador debe cumplir ciertos criterios de rendimiento con el fin de ser útil (y en general de la exactitud rara vez es la medida adecuada). Hay medidas como la sensibilidad, la especificidad, el positivo y el negativo precdictive valor que tome en cuenta las diferentes clases y diferentes tipos de errores de clasificación. Se puede decir que estas medidas responder a diferentes preguntas sobre el clasificador:

• sensibilidad: ¿Qué fracción de los casos verdaderamente pertenecientes a la clase C es reconocido como tal?
• especificidad: ¿Qué fracción de los casos verdaderamente no pertenecientes a la clase C es reconocido como tal?
• valor predictivo positivo: Dado el clasificador predice la clase C, ¿cuál es la probabilidad de que esta predicción es correcta?
• valor predictivo negativo: Dado el clasificador predice que el caso es que no la forma de clase C, ¿cuál es la probabilidad de que esta predicción es correcta?

Estas preguntas a menudo permiten formular las especificaciones que el clasificador debe necesitar para ser útil.

Los valores predictivos son a menudo más importante desde el punto de vista de la aplicación práctica de la clasificación: ellos están condicionadas a la predicción, que es la situación en la que están en la hora de aplicar el classifer (un paciente por lo general no está interesado en saber cuál es la probabilidad de la prueba es reconocer a los enfermos de los casos, sino más bien cuál es la probabilidad declaró el diagnóstico es correcto). Sin embargo, con el fin de calcular correctamente ellos necesitan saber las frecuencias relativas de las diferentes clases de la población, el clasificador se utiliza para (parece que tenga esta información - así que no hay nada que le impide mirar esa).

También puede buscar en la ganancia de información que un resultado positivo o negativo de predicción de la da. Esto se mide por la probabilidad positivo y negativo ratio , LR⁺ y LR⁻. Brevemente, decirle lo mucho que la predicción de los cambios de las probabilidades hacia la clase en cuestión. (véase mi respuesta aquí para una explicación más detallada)

Para su trivial clasificador, las cosas se ven así: Voy a utilizar el "0" de la clase como la clase en cuestión, de modo "positivo" significa la clase "0". De cada 100 casos, 100 predicción positiva (a pertenecer a la clase 0). 97 de ellos realmente, 3 no. La sensibilidad para la clase 0 es del 100% (todos los 97 casos verdaderamente pertenecientes a la clase 0 se reconoce), la especificidad es 0 (ninguno de los otros casos fueron reconocidos). positivo predicitve valor (suponiendo que el 97:3 frecuencia relativa es representante) es de 97%, valor predictivo negativo no puede ser calculado como no negativo predicción ocurrido.

$LR^+ = \frac{\text{sensitivity}}{1 - \text{specificity}} = 1$
$LR^- = \frac{1 - \text{sensitivity}}{\text{specificity}} = \frac{0}{0}$
Ahora LR⁺ y LR⁻ son factores con los que se multiplican las probabilidades para el caso de pertenecer a la positiva de la clase ("0"). Tener un LR⁺ de 1 significa que el positivo de predicción de no dar información de ningún tipo: no va a cambiar las probabilidades. Así que aquí tenéis una medida que expresa claramente el hecho de que su trivial clasificador no añade ninguna información.

---

Dirección completamente diferente de pensamientos: Usted menciona que gustaría evaluar los diferentes clasificadores. Eso suena un poco como el clasificador de la comparación o de la selección. La advertencia de que con las medidas que les comente anteriormente es que están sujetos a muy alta al azar de la incertidumbre (lo que significa que necesita un montón de casos de prueba) si de la evaluación en "hard" etiquetas de clase. Si su predicción es principalmente continua (métrica, por ejemplo, probabilidad posterior) se puede usar medidas relativas a mirar en el mismo tipo de pregunta, pero no el uso de las fracciones de los casos, pero las medidas continuas, ver aquí. Estos estarán mejor adaptadas para detectar pequeñas diferencias en las predicciones.

(@FrankHarrell le dirá que usted necesita "propias reglas de puntuación", por lo que es otro término de búsqueda a tener en cuenta.)

Answer 2

Primero de todo: son todos los éxitos igualmente importante y todo se pierde igualmente importante? Si es así, entonces no hay nada de malo con tu null-modelo de puntuación que bien: simplemente es una excelente solución.

Si usted encuentra que es importante tener un buen desempeño en la predicción de la 1, se podría utilizar el F-medida en su lugar. Básicamente es la media armónica de recordar (¿qué parte de la real 1 han sido pronosticado como 1) y la precisión (qué parte de la predicción de 1 eran en realidad un 1). Para un modelo de puntuación alta en esta medida, es necesario:

1. Encontrar la mayoría de los 1.
2. A menudo no predecir un 1 cuando en realidad, es 0.

Y es necesario hacer ambas cosas simultáneamente. Incluso si su modelo no sólo uno de los 2 en casi un perfecto manera, se tendrá una puntuación baja si no se realiza en el otro requisito. https://en.wikipedia.org/wiki/F1_score

Answer 3

Me alegro de que @cbeleites abrió la puerta ... La concordancia de la probabilidad o $c$-índice, que pasa a ser igual al área ROC en el caso especial de binarios $Y$, es un buen resumen de predicción de la discriminación. La curva ROC en sí tiene un alto tinta:coeficiente de información, pero el área bajo la curva, porque es igual a la probabilidad de concordancia, tiene muchas buenas características, siendo una de ellas que es independiente de la prevalencia de la $Y=1$, ya que las condiciones en $Y$. No es del todo correcta (uso generalizado $R^2$ medidas o cociente de probabilidad $\chi^2$ lograr que) y no es lo suficientemente sensible como para ser utilizado para comparar los dos modelos, es un buen resumen de un modelo único.

Answer 4

La Característica de Funcionamiento del Receptor (ROC) http://en.wikipedia.org/wiki/Receiver_operating_characteristic y la curva de sus cálculos ( es decir, el Área Bajo la Curva AUC) son comúnmente utilizados. básicamente, usted imaginar su clasificador da un continuo de respuesta ( por ejemplo, entre 0 y 1) y se hace una gráfica de la sensibilidad vs tasa de falsas alarmas (1 - especificidad) la decisión umbral varía entre 0 y 1. Estos fueron diseñados específicamente para eventos raros ( spotting aviones enemigos?).

Answer 5

Cuando usted está tratando fuertemente desequilibrado de datos, la Precisión de recuperación de la curva es una herramienta muy buena, mejor que el de su más comunes primo de la curva ROC.

Davis et. al. han demostrado que un algoritmo que optimiza el área bajo la La curva ROC, no está garantizado para optimizar el área bajo la PR de la curva.