He observado que los modelos de redes neuronales (usando Keras TensorFlow) pueden ser muy inestables (cuando mi tamaño de muestra es pequeño) en el sentido de que si entrenara 999 modelos de redes neuronales, puede que solo haya 99 con una buena precisión de entrenamiento. Imagino que esto se debe a la naturaleza estocástica de la iniciación de los pesos en la red neuronal; por lo tanto, solo algunas iniciaciones pudieron conducir a un mínimo local. Sin embargo, cuando uso regresión logística (específicamente el paquete statsmodels
en Python), el modelo entrenado es bastante estable en el sentido de que no importa cuántas veces lo entrene, la precisión y la recuperación etc son bastante constantes.
Mi pregunta es - ¿esto es una consecuencia de la diferencia en la naturaleza entre la regresión logística y la red neuronal (por ejemplo, podría ser porque la regresión logística no necesita una iniciación aleatoria de pesos?) o es simplemente una consecuencia de los paquetes que estoy usando? (por ejemplo, ¿quizás statsmodels
tiene un estado inicial constante definido?)
Entiendo que una regresión logística también podría ser vista como una red neuronal de un solo nodo, por lo que me pregunto por qué debería ser diferente.