Red neuronal - Estimación de una función no lineal

Question

Soy bastante novato en redes neuronales. Intento demostrar empíricamente que una red neuronal puede funcionar mejor que la regresión logística cuando la función subyacente no es lineal. En mi estudio de simulación, la verdadero La probabilidad de asignación al grupo de tratamiento es función de $X_1$ , $X_2^2$ , $X_3$ y $X_4$ - sin embargo, estoy actuando como si no supiera que $X_2$ se eleva al cuadrado, y sólo se utiliza el término no cuadrado. La regresión logística funciona mal.

Creo que puedo conseguir que una red neuronal estime mejor la función, ya que se trata de una función no lineal (bastante simple). Sin embargo, mi primer intento no fue fructífero y no estoy seguro de si tengo que aumentar "oculto", el número de neuronas ocultas, o cambiar la función de activación (o algo más). Esto es lo que he intentado en R:

nn = neuralnet(t ~ X1+X2+X3+X4, data=df, hidden=3, act.fct = "logistic",
             linear.output = FALSE)

¿Alguna idea?

Gracias.

Answer 1

Sí, aumentar el número de neuronas ocultas debería mejorar la capacidad del modelo para aprender la mejor función. Hay un par de cosas que podrías hacer. Primero, te recomendaría usar una de las herramientas más comunes para el aprendizaje profundo, como PyTorch . Esto le dará más control sobre lo que ocurre dentro de la red neuronal. Además, el aprendizaje profundo funciona mejor cuando tiene varias capas, ya que uno de los puntos del aprendizaje profundo es que la composición de funciones conduce a mejores representaciones de los datos de los que puede extraer información. En tercer lugar, prueba a utilizar activaciones ReLu, que ahora son más comunes en la industria porque proporcionan gradientes computacionalmente más sencillos y reducen los gradientes de fuga/explosión, lo que funciona mejor en capas más profundas. Pruebe también alguna regularización, como las capas de abandono.