Digamos que estoy entrenando una red neuronal para la clasificación de imágenes de gatos y perros, en un conjunto de datos de 1000, por ejemplo. Entreno la red con 800 ejemplos y luego la pruebo con los 200 ejemplos restantes. 94% y 73 --> 21% de diferencia
La aplicación de la regularización debería corregir hasta cierto punto esta diferencia de precisión entre el entrenamiento y la prueba. ¿Sería correcto suponer que existe siempre la posibilidad de una compensación entre la precisión del entrenamiento y la precisión de la prueba, incrementando la cantidad de regularización que se aplica a la red?
En otras palabras, ¿es correcto suponer que hay existe una configuración específica para mis hiperparámetros de regularización, que permitiría reducir "casi completamente" esa diferencia del 21%, a algo así como una diferencia del 1% o 2%? A costa de reducir la precisión del entrenamiento, obteniendo por ejemplo 79%-77% precisión de entrenamiento y prueba.
He encontrado este otro problema similar precisión de validación/formación y sobreajuste , sin embargo no encuentro ninguna de las respuestas lo suficientemente acertada para la pregunta en concreto.
