¿Cómo es posible resultar con una predicción altamente precisa cuando todos los registros se clasificaron de la misma manera?

Question

Ejecutamos un modelo de árbol de decisión CHAID utilizando la configuración y el proceso descritos en mi pregunta relacionada. aquí . Utilizamos las puntuaciones de propensión para hacer una predicción. Medimos la predicción al final del año simplemente como real/predicción y obtuvimos una precisión del 95%. Eso fue el año pasado. Este año tenemos una precisión menor, del 80%, pero no está tan mal.

Me estoy poniendo al día con lo que hizo un analista anterior. Pero cuando inspeccioné su modelo me di cuenta de que todo el mundo estaba clasificado igual: "stayer" (parte de un objetivo binario). Las puntuaciones de propensión mínimas y máximas oscilaban entre 0,035 y 0,41. No entiendo por qué el modelo era tan preciso según las mediciones de final de año. Fue estupendo obtener esos resultados, pero no me parece lógico.

PREGUNTA#1 ¿Ha sido casualidad (dos años seguidos)? ¿O hay algo que se me escapa con respecto a los resultados de clasificación de intpretación (matriz de confusión) frente al rendimiento real del modelo?

Puedo publicar un enlace a un archivo .str de SPSS Modeler (y archivos de texto relacionados, todos anonimizados) si alguien quiere verlo.

PREGUNTA#2: La gente que utiliza árboles de decisión para la predicción, ¿utiliza alguna vez simplemente las clasificaciones asignadas (es decir, el número de recuento de la clase objetivo) en lugar de las puntuaciones de propensión? Supongo que si fueran precisas podrían hacerlo (a diferencia de nuestro caso). Pero creo que las puntuaciones de propensión deberían ser mejores en cualquier caso, ¿no?

EDITAR:

Todos se clasifican como 0 ("Stayer")

Esto es lo que entiendo por precisión y cómo se calcula

Esta es una muestra del aspecto de mis datos.

Answer 1

Esto ocurre cuando el conjunto de datos está muy desequilibrado: parece que alrededor del 93% de los datos proceden de una clase: "los que se quedan". Suponiendo que tus datos de prueba sean similares, el clasificador más sencillo posible (es decir, adivinar la clase mayoritaria) debería ser capaz de acertar en torno a una proporción; un clasificador mejor --con acceso a información real-- debería ser capaz de acertar al menos en esa proporción. Visto así, su precisión del 95%/85% es, por desgracia, algo menos emocionante.

Entonces, ¿cómo lidiar con datos desequilibrados? Obviamente, el porcentaje de precisión es un poco engañoso en esta situación; mirar las matrices de confusión u otras medidas por clase es definitivamente lo correcto (¡buen movimiento!).

Algunos algoritmos de clasificación permiten proporcionar una función de pérdida que describe la "gravedad" relativa de clasificar mal un ejemplo. Si hace que clasificar erróneamente a un abandono como permanencia sea mucho peor que clasificar erróneamente a un abandono como permanencia, obtendrá mejores resultados. Sin embargo, no estoy seguro de que esto sea posible con CHAID. Si no es así, se puede fingir eliminando ejemplos de los datos de entrenamiento hasta que las clases estén (más o menos) equilibradas. Esto se suele hacer eliminando ejemplos al azar, pero puede que consigas mejores resultados eligiendo selectivamente casos "representativos".

Answer 2

Tal vez esté malinterpretando la pregunta, pero no es raro que un clasificador tonto obtenga buenos resultados en una situación muy desequilibrada. En este caso, más del 90% de los casos parecen pertenecer a una categoría, por lo que obtendrías una precisión del 90% con la simple regla de adivinar esa categoría. Tu clasificador real no parece hacerlo mejor.