Diferencias entre regresión logística y perceptrones

Question

Según entiendo, un perceptrón/red neuronal artificial de una sola capa con una función de activación sigmoidea logística es el mismo modelo que la regresión logística. Ambos modelos vienen dados por la ecuación:

$F(x) = \frac{1}{1-e^{-\beta X}}$

El algoritmo de aprendizaje del perceptrón es en línea y basado en el error, mientras que los parámetros para la regresión logística pueden aprenderse utilizando una variedad de algoritmos por lotes, incluyendo el descenso de gradiente y Limited-memory BFGS, o un algoritmo en línea, como el descenso de gradiente estocástico. ¿Hay alguna otra diferencia entre la regresión logística y un perceptrón sigmoideo? ¿Se espera que los resultados de un regresor logístico entrenado con descenso de gradiente estocástico sean similares al del perceptrón?

Answer 1

En realidad, hay una gran diferencia sustancial, que está relacionada con las diferencias técnicas que mencionaste. La regresión logística modela una función de la media de una distribución de Bernoulli como una ecuación lineal (siendo la media igual a la probabilidad p de un evento de Bernoulli). Al utilizar el enlace logit como una función de la media (p), el logaritmo de las probabilidades (log-probabilidades) se puede derivar analíticamente y se usa como respuesta de un modelo lineal generalizado. La estimación de parámetros en este GLM es entonces un proceso estadístico que produce valores de p y intervalos de confianza para los parámetros del modelo. Además de la predicción, esto te permite interpretar el modelo en inferencia causal. Esto es algo que no puedes lograr con un Perceptrón lineal.

El Perceptrón es un proceso de ingeniería inversa de la regresión logística: en lugar de tomar el logaritmo de y, toma la función logística inversa del producto interno wx, y no utiliza suposiciones probabilísticas ni para el modelo ni para su estimación de parámetros. El entrenamiento en línea te dará exactamente los mismos resultados para los pesos/parámetros del modelo, pero no podrás interpretarlos en inferencia causal debido a la falta de valores p, intervalos de confianza y, bueno, un modelo de probabilidad subyacente.

En resumen, la regresión logística es un GLM que puede realizar predicciones e inferencias, mientras que el Perceptrón lineal solo puede lograr predicciones (en cuyo caso funcionará igual que la regresión logística). La diferencia entre los dos es también la diferencia fundamental entre la modelización estadística y el aprendizaje automático.

Answer 2

Creo que una diferencia que estás pasando por alto es el hecho de que la regresión logística devuelve una probabilidad de clasificación basada en principios, mientras que los perceptrones clasifican con un límite rígido.

Esto se menciona en el artículo de Wiki sobre regresión logística multinomial.

Answer 3

Ya mencionaste las diferencias importantes. Por lo tanto, los resultados no deberían diferir tanto.