Razón por la que el AUC de un conjunto de prueba es mayor que el de un conjunto de entrenamiento utilizando un bosque aleatorio

Question

Hice una división 70:30 de los datos para construir un modelo de bosque aleatorio para la clasificación binaria. Aunque la prevalencia de $Y=1$ era de aproximadamente el 25% tanto en los conjuntos de entrenamiento como en los de prueba, los dos conjuntos se desequilibraron mientras se construía el modelo y se hacían predicciones debido a la falta de covariables. Observé que el conjunto de entrenamiento "completo" tenía la mitad de $Y=1$ casos en comparación con el conjunto de pruebas "completo".

El AUC de los datos de entrenamiento fue de aproximadamente 0,70 y el AUC de los datos de prueba fue de aproximadamente 0,85.

¿Cómo debo explicarlo? Pensé que los datos de entrenamiento siempre mostrarían un AUC más alto que los datos de prueba porque utilizamos los datos de entrenamiento para construir nuestro modelo.

Answer 1

Esto puede atribuirse fácilmente a la variación aleatoria. Si bien es cierto que se espera que el rendimiento dentro de la muestra sea mejor que el rendimiento fuera de la muestra (es decir, que nuestro error de entrenamiento sea menor que nuestro error de prueba), esto no es una necesidad; como el valor AUC calculado aquí es una estadística, una función de nuestra muestra actual, está sujeto a la variabilidad del muestreo. Sería razonable utilizar múltiples divisiones de entrenamiento/prueba (es decir, hacer un bootstrap de la muestra actual) para poder cuantificar la variabilidad de esa estadística. Repetido validación cruzada y/o bootstrapping son enfoques estándar para estimar la distribución muestral de una estadística de interés. Hay un hilo muy informativo en CV sobre: Validación de retención frente a validación cruzada que creo que ayudará a aclarar aún más las cosas.