¿Debemos promediar la pérdida de peso en la red neuronal?

Question

En una red neuronal típica, ¿cuál es la forma habitual de añadir regularización?

Suponiendo una tarea de regresión, la pérdida por error de regresión es el error cuadrático medio

Entonces podemos tener dos opciones de regularización en los pesos:

1. $\lambda$ * $\sum ||W||^2$
2. $\lambda$ * $\textbf{average} ||W||^2$

He visto que la mayoría de la gente utiliza el primero opción, sólo por curiosidad de preguntar.

Answer 1

El uso de la media reescala implícitamente $\lambda$ . Esto significa que la elección de la media o de la suma no es realmente importante, porque cualquiera que sea el óptimo $\lambda$ está en la escala media tiene una opción equivalente de $\lambda$ en la escala de la suma, y viceversa. $$ \begin{align} \lambda \sum_i w_i^2 &= \lambda\sum_iw_i^2 \\ &= {n\lambda} \left[\frac{1}{n}\sum_iw_i^2 \right]\\ \end{align} $$