AUC empírica en el conjunto de validación cuando no hay ceros VERDADEROS

Question

En una validación cruzada de configuración (el LAZO penalizado de regresión logística), yo soy el cálculo de las AUC. Sin embargo, estoy interesado en la variabilidad de estas estimaciones sobre los pliegues (esto me dará una indicación de la estabilidad de mi modelo de selección de los pliegues).

Como tal, quiero encontrar el empírica de las AUC, en cada uno de los 10 conjuntos de validación y, a continuación, calcular la varianza sobre ellos. Esto plantea un problema, ya que a veces un conjunto de validación sólo contiene sólo las observaciones que han resultado verdadero 1 o solo observaciones que han resultado verdadero 0. No conozco una manera de calcular el AUC en un escenario.

¿Cuál sería el enfoque sensato aquí?

• Ignorar este "fold" en la cálculos relacionados con las AUC
• Dale un poco de valor, de todos modos, como 0.5
• Tal vez usted puede sugerir una manera de la aproximación de las AUC en tales casos (la adición de 1 falso observación de la otro tipo y asumir su predijo probabilidad es de 0, 0,5 y 1?)
• No trate de esta variación sobre el los pliegues de la idea.

Answer 1

La aplicación de un modelo en un conjunto con sólo positivos o negativos que no permiten hacer ningún tipo de declaración sobre el poder de diferenciación de la modelo. De ahí que me iba a ignorar este pliegues.

Que me sugieren para mejorar todo el proceso de validación de la siguiente manera:

• el uso de un muestreo estratificado enfoque dentro de la validación cruzada para garantizar que la proporción de positivos a negativos es el mismo en cada pliegue
• y/o repetir la validación cruzada algunas veces con diferentes semillas (en un máximo de 6 veces, según lo sugerido por Kohavi) para obtener más pliegues a un promedio de más.