La respuesta de @joceratops se centra en el problema de optimización de máxima verosimilitud para la estimación. En efecto, se trata de un enfoque flexible que se adapta a muchos tipos de problemas. Para estimar la mayoría de los modelos, incluidos los modelos de regresión lineal y logística, existe otro enfoque general que se basa en el método de estimación de momentos.
El estimador de regresión lineal puede también se puede formular como la raíz de la ecuación de estimación:
$$0 = \mathbf{X}^T(Y - \mathbf{X}\beta)$$
A este respecto $\beta$ se ve como el valor que recupera un residuo medio de 0. No necesita depender de ningún modelo de probabilidad subyacente para tener esta interpretación. Sin embargo, es interesante ir derivando las ecuaciones de puntuación para una probabilidad normal, verá de hecho que toman exactamente la forma mostrada arriba. La maximización de la probabilidad de la familia exponencial normal para un modelo lineal (por ejemplo, regresión lineal o logística) es equivalente a la obtención de soluciones a sus ecuaciones de puntuación.
$$0 = \sum_{i=1}^n S_i(\alpha, \beta) = \frac{\partial}{\partial \beta} \log \mathcal{L}( \beta, \alpha, X, Y) = \mathbf{X}^T (Y - g(\mathbf{X}\beta))$$
Dónde $Y_i$ tiene un valor esperado $g(\mathbf{X}_i \beta)$ . En la estimación GLM, $g$ se dice que es la inversa de una función de enlace. En las ecuaciones de probabilidad normales, $g^{-1}$ es la función de identidad, y en la regresión logística $g^{-1}$ es la función logit. Un enfoque más general sería exigir $0 = \sum_{i=1}^n Y - g(\mathbf{X}_i\beta)$ que permite una mala especificación del modelo.
Además, es interesante observar que para las familias exponenciales regulares, $\frac{\partial g(\mathbf{X}\beta)}{\partial \beta} = \mathbf{V}(g(\mathbf{X}\beta))$ que se denomina relación media-varianza. En efecto, para la regresión logística, la relación media-varianza es tal que la media $p = g(\mathbf{X}\beta)$ se relaciona con la varianza mediante $\mbox{var}(Y_i) = p_i(1-p_i)$ . Esto sugiere una interpretación de un modelo GLM mal especificado como aquel que da un residuo medio de Pearson de 0. Esto sugiere además una generalización para permitir derivadas de media funcionales no proporcionales y relaciones de media-varianza.
A ecuación de estimación generalizada El enfoque especificaría los modelos lineales de la siguiente manera:
$$0 = \frac{\partial g(\mathbf{X}\beta)}{\partial \beta} \mathbf{V}^{-1}\left(Y - g(\mathbf{X}\beta)\right)$$
Con $\mathbf{V}$ una matriz de varianzas basada en el valor ajustado (media) dado por $g(\mathbf{X}\beta)$ . Este enfoque de la estimación permite elegir una función de enlace y una relación de varianza media como en los GLM.
En la regresión logística $g$ sería el logit inverso, y $V_{ii}$ vendría dado por $g(\mathbf{X}_i \beta)(1-g(\mathbf{X}\beta))$ . Las soluciones de esta ecuación de estimación, obtenidas por Newton-Raphson, darán lugar a la $\beta$ obtenido de la regresión logística. Sin embargo, una clase algo más amplia de modelos es estimable en un marco similar. Por ejemplo, la función de enlace puede tomarse como la Registro del predictor lineal para que los coeficientes de regresión sean riesgos relativos y no cocientes de probabilidades . Lo cual -dado el bien documentado peligro de interpretar las ORs como RRs- me lleva a preguntarme por qué nadie ajusta ya los modelos de regresión logística.
