La estadística frecuentista dice que there exists some true underlying parameters for a model . Mientras que la estadística bayesiana dice que there are different beliefs about parameters for a model .
En la retropropagación, básicamente lanzamos datos a una red neuronal, retropropagamos el error de los gradientes y esperamos que la red aprenda los verdaderos parámetros subyacentes.
¿Es el entrenamiento de un modelo de red neuronal con retropropagación un enfoque frecuentista?
Retropropagación utiliza un regularizador $\lambda$ para penalizar las magnitudes de los pesos para evitar el sobreajuste. Se trata de un enfoque frecuentista para aplicar la La navaja de Occam principio.
En la formulación bayesiana, esto se expresa de forma equivalente a poner una distribución a priori en los pesos. Su término regularizador $\lambda$ se expresaría ahora en términos de los hiperparámetros previos.
Ambos enfoques funcionan y son equivalentes en un sentido algorítmico. La formulación bayesiana podría requerir algunos pasos matemáticos adicionales para ver cómo $\lambda$ depende de la prioridad.
El enfoque frecuentista utilizaría la validación cruzada para determinar $\lambda$ directamente. Los bayesianos pueden utilizar la validación cruzada para fijar una prioridad. O puede que no.
I-Ciencias es una comunidad de estudiantes y amantes de la ciencia en la que puedes resolver tus problemas y dudas.
Puedes consultar las preguntas de otros usuarios, hacer tus propias preguntas o resolver las de los demás.
