¿Por qué la función de verosimilitud de la regresión logística no tiene una forma cerrada?

Question

La derivada de la función de log-verosimilitud de regresión logística con respecto a theta es

1. ¿Por qué no podemos igualarla a cero y resolver para theta para obtener una solución de 'forma cerrada' para theta? ¿Es debido a la no linealidad de theta en la ecuación?

2. ¿Puede el método OLS en regresión lineal, que es una solución de forma cerrada, categorizarse como una técnica de "optimización lineal"? (a diferencia del descenso de gradiente, que es un método de "optimización no lineal"?)

Answer 1

1. De hecho, al usar un modelo logístico binomial, la estimación es la solución de la ecuación: $$\sum_{i}[y_i - \sigma(\theta^T \boldsymbol{x}_i)] \boldsymbol{x}_i = 0$$ Desafortunadamente (puedes intentarlo), esta ecuación no tiene solución, por eso se dice que no hay una solución en forma cerrada para $\theta$. Se debe usar una técnica de optimización para aproximar numéricamente una solución (para la regresión logística, el algoritmo de Newton-Raphson funciona bien ya que la verosimilitud es cóncava). La no linealidad complica la ecuación, pero hay algunos estimadores que son en forma cerrada y solución de ecuaciones no lineales, por ejemplo, la mediana resuelve la ecuación no lineal: $\sum_i [\mathbb{1}_{x_i > \theta} - \mathbb{1}_{x_i < \theta}] = 0$. Las ecuaciones de estimación lineal son solubles pero no son las únicas.

2. No estoy seguro sobre la pregunta. De hecho, la ecuación de estimación de la regresión logística es no lineal en $\theta$ y la ecuación de estimación de un MCO es lineal (y por lo tanto fácilmente soluble). Pero si te refieres a la programación lineal (LP) como "optimización lineal", entonces el MCO no es una LP, ya que la solución de la ecuación MCO es una minimización de una ecuación cuadrática. El MCO es una programación cuadrática (QP). Ten cuidado de no confundir "ecuación de estimación lineal" con programación lineal.