Estoy empezando con el aprendizaje profundo, y tengo una pregunta cuya respuesta no he encontrado, quizás no he buscado bien. He visto esta respuesta pero todavía no está claro qué es la pérdida de peso y cómo está relacionada con la función de pérdida.
El decaimiento del peso especifica la regularización en la red neuronal.
Durante el entrenamiento, se añade un término de regularización a la pérdida de la red para calcular el gradiente de retropropagación. El weight decay determina lo dominante que será este término de regularización en el cálculo del gradiente.
Como regla general, cuantos más ejemplos de entrenamiento tenga, más débil debería ser este término. Cuantos más parámetros tenga, más alto debería ser este término.
Así, el decaimiento del peso es un término de regularización que penaliza los pesos grandes. Cuando el coeficiente de decaimiento del peso es grande, la penalización de los pesos grandes también es grande, cuando es pequeño los pesos pueden crecer libremente.
Así que, ahora si vuelves a leer la respuesta que enlazaste en tu pregunta, ahora tendría todo el sentido.
Es la característica de plasticidad neuronal que aporta el aprendizaje en una red neuronal.
Hay pocos métodos para aplicar la plasticidad neural: - Regla Hebbiana -> refinada por la regla de Oj. - Modulación neuronal
En mi opinión, no deberías implementar el decaimiento en los propios pesos, en su lugar añade un sesgo impulsado por las neuronas adyacentes que manipulan los pesos de la neurona.
I-Ciencias es una comunidad de estudiantes y amantes de la ciencia en la que puedes resolver tus problemas y dudas.
Puedes consultar las preguntas de otros usuarios, hacer tus propias preguntas o resolver las de los demás.
0 votos
youtube.com/watch?v=6g0t3Phly2M&ab_channel=DeepLearningAI Este también es un buen y corto video de Andrew Ng que habla sobre el decaimiento del peso