¿Es un modelo overfitted necesariamente inútil?

Question

Asumir que un modelo tiene 100% de exactitud en los datos del entrenamiento, pero el 70% de precisión en los datos de prueba. ¿Es el verdadero argumento siguiente sobre este modelo?

Es obvio que se trata de un modelo overfitted. La prueba de precisión puede mejorarse reduciendo el desbordamiento. Sin embargo, este modelo todavía puede ser un modelo útil, ya que tiene una precisión aceptable para los datos de prueba.

Answer 1

Creo que el argumento es correcto. Si el 70% es aceptable en la aplicación en particular, entonces el modelo es útil aunque es overfitted (en general, independientemente de si es overfitted o no).

Mientras que el equilibrio de sobreajuste contra underfitting preocupaciones de optimalidad (en busca de una solución óptima), tener un rendimiento satisfactorio es acerca de la suficiencia (es el modelo funciona suficientemente bien para la tarea?). Un modelo puede ser lo suficientemente bueno, sin ser óptima.

Edit: después de los comentarios de Firebug y Mateo Drury bajo el OP, voy a añadir que para juzgar si el modelo es overfitted sin conocer la validación de rendimiento puede ser problemático. Firebug sugiere la comparación de la validación vs el rendimiento de la prueba para medir la cantidad de sobreajuste. Sin embargo, cuando el modelo ofrece un 100% de exactitud en el conjunto de entrenamiento sin entregar el 100% de precisión en la prueba de conjunto, es un indicador de posible sobreajuste (especialmente en el caso de la regresión, pero no necesariamente en la clasificación).

Answer 2

En mi último proyecto con detección de fraude de tarjeta de crédito, intencionalmente quieren sobre montar los datos / código duro para recordar casos de fraude. (Nota, sobreajuste una clase no es exactamente el problema general de overfitting que OP hablada.) Tal sistema tiene relativamente pocos positivos falsos y satisfacer nuestras necesidades.

Por lo tanto, yo diría, modelo overfitted puede ser útil para algunos casos.

Answer 3

Tal vez: ten cuidado. Cuando usted dice que el 70% de exactitud (sin embargo se mida) es lo suficientemente bueno para usted, se siente como usted está asumiendo que los errores son al azar o distribuido uniformemente.

Pero una de las maneras de mirar el sobreajuste es que sucede cuando un modelo de técnica permite (y su proceso de formación anima a) prestar demasiada atención a las peculiaridades en el conjunto de entrenamiento. Los sujetos de la población general que comparten estas peculiaridades pueden tener muy desequilibrada resultados.

Así que tal vez usted termina con un modelo que dice que todos los rojos los perros tienen cáncer, porque de esa peculiaridad en los datos de su entrenamiento. O que las personas casadas entre las edades de 24 y 26 son casi garantizado para presentar reclamaciones fraudulentas de seguros. Sus 70% de precisión deja mucho espacio para los bolsillos de los sujetos a ser 100% equivocado, porque su modelo es overfit.

(No se overfit no es una garantía de que usted no tiene bolsillos de las predicciones erróneas. De hecho, un modelo de ajuste tendrá franjas de malas predicciones, pero con el sobreajuste usted sabe que usted está magnificando el efecto de las peculiaridades de los datos de su entrenamiento.)

Answer 4

No se puede ser útil, pero depende de su propósito. Varias cosas se vienen a la mente:

1. Si su función de evaluación sobreponderaciones TPR y underweights FPR, utilizamos F_$\beta$ puntuación con $\beta$>>1. (como @hxd1011 la respuesta en antifraude)

2. Un clasificador puede ser realmente útil en un conjunto. Podríamos tener un clasificador con pesos normales, que sobreponderaciones TPR, que sobreponderaciones FNR. A continuación, incluso una simple regla de tres votos, o un promedio, dará la mejor de las AUC que cualquier mejor clasificador. Si cada modelo utiliza diferentes hyperparameters (o croma de formación conjuntos, o modelo de arquitecturas), que nos compre algo de inmunidad.

3. Del mismo modo, en tiempo real anti-spam, anti-fraude o de puntuación de crédito, es bueno y conveniente el uso de una jerarquía de los clasificadores. El nivel 1 de los clasificadores deben evaluar realmente rápido (ms) y está bien tener un alto FPR; cualquier errores que cometen será capturado por más exacta, completa, más lento de nivel superior de los clasificadores o en última instancia humanos de los revisores. Ejemplo claro: evitar falsos-los titulares de las noticias de la cuenta de Twitter de adquisiciones como "la Casa Blanca en un atentado con bomba mata a tres" desde que afectan a miles de millones de dólares de comercio dentro del ms de la publicación. Está bien para el nivel 1 clasificador a la bandera que de positivo para el spam; vamos a permitir que se toma un poco de tiempo (de forma automática) determinar la verdad/falsedad de la sensacional-pero-sin verificar los informes de noticias.

Answer 5

No estoy negando que un overfitted modelo podría ser útil. Pero solo hay que tener en cuenta que este 70% podría ser una información engañosa. Lo que usted necesita con el fin de juzgar si un modelo es útil o no es el fuera-de-error de muestreo, no la prueba de error (el error de muestreo no es conocido, por lo que tenemos que calcular es el uso de un ciego conjunto de pruebas), y que el 70% es apenas la buena aproximación.

Con el fin de asegurarnos de que estamos en la misma página en la terminología después del comentario de @RichardHardy, vamos a definir las pruebas de error como el error obtenido al aplicar el modelo en el ciego conjunto de pruebas. Y el error de muestreo es el error al aplicar el modelo para el conjunto de la población.

La aproximación de la hacia fuera-de-error de muestreo depende de dos cosas: el propio modelo y los datos.

• "Óptima" modelo de rendimientos para una (de pruebas) de precisión que apenas depende de los datos, en este caso, sería una buena aproximación. "Independientemente" de los datos, el error de predicción sería estable.

• Pero, una overfitted modelo de precisión es altamente dependiente de los datos (como usted ha mencionado un 100% en el conjunto de entrenamiento, y el 70% en el otro grupo). Así que no se puede descartar que cuando se aplica a otro conjunto de datos, la exactitud puede ser un lugar inferior al 70% (o superior), y podríamos tener sorpresas desagradables. En otras palabras, que el 70% te dice lo que cree, pero no lo es.