Tren vs Error de la Prueba de la Brecha y su relación con el Sobreajuste : Conciliación de consejos contradictorios

Question

No parece estar en conflicto consejos sobre cómo manejar la comparación de tren vs prueba de error, especialmente cuando hay una brecha entre los dos. Parece ser que hay dos escuelas de pensamiento que, para mí, parecen estar en conflicto. Estoy buscando a entender cómo reconciliar los dos (o entender lo que me falta aquí).

Pensamiento #1: Una brecha entre el tren y la prueba de rendimiento por sí solo no indica el sobreajuste

En primer lugar, (también se discuten aquí: ¿Cómo puede la formación y las pruebas de error comparaciones ser indicativo de sobreajuste?), la idea de que una diferencia entre el tren y el conjunto de prueba por sí sola no puede indicar el sobreajuste. Esto está de acuerdo con mi experiencia práctica con, por ejemplo, el conjunto de árbol de métodos, donde incluso después de la validación cruzada basada en hyper parámetro de sintonización, la brecha entre el tren y el error de la prueba puede seguir siendo algo grande. Pero (independientemente del tipo de modelo) mientras usted está de error de validación no va a volver, va bien. Al menos, esa es la idea.

Pensamiento #2: Al ver un espacio entre el tren y el rendimiento de la prueba: Hacer las cosas que combate el sobreajuste

Sin embargo, hay consejos que debes de hacer ver, de muy buenas fuentes que sugieren que una brecha entre el tren y el error de la prueba es indicativo de sobreajuste. He aquí un ejemplo: El "Tuercas y Tornillos de Aprendizaje Profundo" hablar por Andrew Ng (una fantástica charla) https://www.youtube.com/watch?v=F1ka6a13S9I donde en torno a la marca de tiempo de 48:00 dibuja un diagrama de flujo que dice "si el conjunto de tren de error es bajo y su tren-dev conjunto de error es alto, se debe agregar la regularización, obtener más datos, o cambiar el modelo de la arquitectura"... que son todas las acciones que usted puede tomar para combatir el sobreajuste.

Lo que me lleva a... : Me estoy perdiendo algo aquí? Es este un modelo específico de la regla de oro (en general, los modelos más sencillos que parecen tener menos brecha entre el tren y la prueba)? O simplemente están allí dos diferentes escuelas de pensamiento?

Answer 1

Yo creo que esta no es consejos contradictorios. Lo que realmente nos interesa es buena muestra de desempeño, no en la reducción de la brecha entre la formación y el conjunto de pruebas de rendimiento. Si la prueba de rendimiento es representativo de la muestra de rendimiento (es decir, el conjunto de prueba es lo suficientemente grande, no contaminado y es una muestra representativa de los datos de nuestro modelo será aplicado a), siempre y cuando queremos obtener un buen rendimiento en el conjunto de pruebas no estamos de sobreajuste, independientemente de la brecha.

A menudo, sin embargo, si hay una gran diferencia, se puede indicar que podríamos conseguir la mejor prueba de rendimiento con más de regularización/introducir un sesgo a la modelo. Pero eso no quiere decir que una diferencia menor significa un mejor modelo; es solo que si tenemos una pequeña o ninguna diferencia entre la formación y el conjunto de pruebas de rendimiento, sabemos que estamos definitivamente no sobreajuste por lo que la adición de regularización/introducir un sesgo a la modelo no le ayudará.