7 votos

En las redes neuronales convolucionales, ¿cómo evitar el sobreajuste?

Dada cierta cantidad de datos etiquetados, definimos la estructura de la red, como el número de capas, los tipos de capas, el número de capas convolucionales, el número de capas de agrupación, etc.

Y entrenar los parámetros utilizando la retropropagación, mientras que mostramos la pérdida en el procedimiento de formación y ver la precisión de las pruebas en el conjunto de datos de validación.

Sin embargo, la pérdida en el conjunto de entrenamiento es casi nula, y la precisión de las pruebas se mantiene sin cambios, independientemente de cómo se disminuya la tasa de aprendizaje.

  • En esta circunstancia, ¿se trata de un sobreajuste?
  • ¿Debemos cambiar la estructura de la red?
  • ¿Más capas para más parámetros?
  • ¿Podría recomendar algunas sugerencias o referencias?

6voto

user3554004 Puntos 301

Yo diría que puede haber un error en el cálculo de los errores cuando se utiliza la retropropagación.

Además, ¿cuál es el tamaño de sus datos? ¿Y cuántas épocas está utilizando para su simulación? ¿Cómo se realiza el entrenamiento? Podría ayudarte más si pudiera conseguir más datos.

Esto podría ayudarte: http://www.cs.toronto.edu/~hinton/csc2515/notas/lec4.htm

5voto

Diesel Puntos 11

Tal vez podrías probar la técnica del abandono. He oído que puede ser eficaz contra el sobreajuste.

  • Abandono de los estudios: Una forma sencilla de evitar que las redes neuronales se sobreajusten , por Nitish Srivastava, Geoffrey E. Hinton, Alex Krizhevsky, Ilya Sutskever, Ruslan R. Salakhutdinov Journal of Machine Learning Research, 2014. PDF

Recientemente, ¡¡¡Google incluso patentó esta técnica!!!

i-Ciencias.com

I-Ciencias es una comunidad de estudiantes y amantes de la ciencia en la que puedes resolver tus problemas y dudas.
Puedes consultar las preguntas de otros usuarios, hacer tus propias preguntas o resolver las de los demás.

Powered by:

X