Añadir conjuntos de entrenamiento y validación para aumentar la precisión después de encontrar los parámetros óptimos.

Question

La regla general para dividir los datos en aprendizaje automático es en 3 partes training set, validation y testing set. Todo el mundo lo sabe.

Por lo tanto, para probar el rendimiento de los distintos algoritmos, utilizamos el conjunto de pruebas dev set y el conjunto de entrenamiento training set.

Ahora después de encontrar los hiperparámetros correctos del modelo: ¿Por qué no añadimos los conjuntos de validación y entrenamiento para obtener un conjunto de entrenamiento mayor para que el modelo aprenda que el modelo tradicional entrenado sólo en el conjunto de entrenamiento y validado en el conjunto de validación?

¿No será el new training + validation set ¿ofrecer más prestaciones? ¿Y, por tanto, aumentar la precisión del modelo tras probarlo en el conjunto de pruebas? Porque más datos implican más características que aprender para el modelo y, por lo tanto, también aumentará el rendimiento en el conjunto de pruebas.

Answer 1

El conjunto de datos que tenemos puede ser de miles o millones.
Consideremos dos casos :
Case 1 : Supongamos que tenemos un conjunto de datos de tamaño 10.000. Entonces dividiremos el conjunto de datos en la regla 60% 20% 20% para obtener 6.000, 2.000 y 2.000 como tamaño de los conjuntos de entrenamiento, desarrollo y prueba. En este caso, añadir el conjunto de validación al conjunto de entrenamiento marca la diferencia en la capacidad de aprendizaje de características de las redes neuronales, ya que más datos significan más explotación de características.

Case 2 : Supongamos que tenemos un conjunto de datos de 10.000.000 de tamaño. Entonces dividiremos el conjunto de datos en 96% 2% 2% regla para obtener 9.600.000, 200.000 y 200.000 como tamaño de los conjuntos de entrenamiento, desarrollo y prueba. En este caso, la proporción de ejemplos que se añaden al conjunto de entrenamiento es menor que en el caso 1. Como nuestra red neuronal ya ha aprendido a partir de 9.600.000 ejemplos para el entrenamiento, añadir 200.000 ejemplos adicionales no supondrá una gran diferencia en la precisión.

Conclusion : Si tenemos un conjunto de validación en cierta proporción al conjunto de entrenamiento y el conjunto de entrenamiento es más pequeño, podemos aumentar un poco la precisión combinando estos dos conjuntos para que la red neuronal aprenda un poco más con más ejemplos. Por otro lado, si ya disponemos de un conjunto de entrenamiento más grande, no habrá diferencia en la precisión si añadimos una pequeña parte de datos al conjunto de entrenamiento. It all matters on how we are dividing the train-dev-test distribution.