¿Puede la red neuronal (por ejemplo, red neuronal convolucional) tener pesos negativos?

Question

¿Es posible tener pesos negativos (después de suficientes épocas) para redes neuronales convolucionales profundas cuando usamos ReLU para todas las capas de activación?

Answer 1

Imagina que tienes pesos óptimos que no son negativos.

Ahora invierte alguna variable de entrada $x'_i = -x_i$. La red óptima para esta configuración es con los pesos de los bordes ${x'_i,y}$ invertidos, por lo que los nuevos pesos no son positivos.

Answer 2

A menos que utilice otra función de activación, por ejemplo Leaky ReLU. Los pesos rectificados de las capas después de la primera no son negativos, independientemente de cuántas épocas en el entrenamiento.