¿Deserción escolar y la detención temprana son suficientes para regularizar la gran mayoría de las redes neuronales profundos en la práctica?

Question

Hay muchas técnicas regularización, no es práctico para probar todas las combinaciones:

• l1/l2
• max norma
• deserción escolar
• la detención temprana
• ...

Parece que la mayoría de las personas están felices con una combinación de deserción de + la detención temprana: hay casos donde el uso de otras técnicas sentido?

Por ejemplo, si desea una escasa modelo puede agregar un poco de l1 de regularización. Aparte de eso, hay fuertes argumentos en favor de la aspersión en otras técnicas regularización?

Yo sé acerca de la no-libre-almuerzo teorema, en teoría me tendría que probar todas las combinaciones de técnicas regularización, pero no vale la pena intentarlo si es que casi nunca produce un aumento significativo del rendimiento.

Answer 1

Recordemos que el principal objetivo de la regularización es reducir más el montaje.

¿Qué otras técnicas se utilizan actualmente para reducir el exceso de montaje:

1) compartir Peso - como se ha hecho en la CNN, aplicar los mismos filtros a través de la imagen.

2) los Datos de Aumento de senos - Aumento de los datos existentes y generar datos sintéticos con los modelos generativos

3) Gran cantidad de datos de entrenamiento - gracias a ImageNet etc.

4) Pre-entrenamiento, Por ejemplo decir que el Uso de ImageNet aprendido pesos antes del entrenamiento del clasificador en el decir de Caltech conjunto de datos.

5) El uso de RelU en las Redes Neuronales de por sí, se fomenta la dispersión, ya que permiten cero activaciones. De hecho, para la más compleja de las regiones en función del uso del espacio más RelU, desactivarlos por simple regiones. Así que, básicamente, variar la complejidad del modelo basado en el problema de la complejidad.

El uso de un montón de tales técnicas, además de la deserción y la detención temprana no parece suficiente para los problemas resueltos en la actualidad. Sin embargo, para problemas nuevos con menos datos que usted puede encontrar otras técnicas regularización útil.