Me refiero específicamente a gráficos como éste. Muestra claramente cómo, para una pequeña cantidad de datos, los algoritmos tradicionales de aprendizaje automático o el simple aprendizaje estadístico funcionan mejor que las redes neuronales.
Respuesta
¿Demasiados anuncios?
Dave
Puntos
76
Le estás pidiendo mucho a una red neuronal.
En una regresión lineal simple, estás dando restricciones considerables al modelo.
$$ \mathbb E[y_i]=\beta_0 +\beta_1x_i $$
Como $x$ aumenta en $1$ unidad, $y$ cambios por $\beta_1$ . Eso es todo lo que hay en la relación.
En una red neuronal de gran tamaño, se le pide al modelo que lo descubra todo. Si se supone que hay una interacción entre las características de entrada, el modelo tiene que averiguarlo; usted no le dijo al modelo que utilizara una característica de interacción. Si se supone que hay una curvatura, el modelo tiene que averiguarlo; usted no le dijo al modelo que considerara la curvatura.
En cierto sentido, la red neuronal determina los parámetros de regresión y también tiene que averiguar las características a las que corresponden esos parámetros.
Mientras tanto, hay ruido, cuando el valor observado no es exactamente el valor condicional esperado. El modelo tiene que separar lo que es señal y lo que es ruido. Cuando hay un punto perdido, ¿se debe a que hay un gran residuo o a que el modelo debería curvarse hacia ese punto? Sin tener muchos datos, no se puede saber, pero el modelo quiere ajustarse a los puntos dados lo mejor posible, por lo que se inclina a intentar acercarse a ese punto y tener un residuo pequeño. Si esa es la elección equivocada, entonces se ha sobreajustado al ruido y le costará dar resultados generalizables.
