¿Por qué es importante hacer una distinción entre "lineal" versus "no-lineal" de la regresión?

Question

¿Cuál es la importancia de la distinción entre lineal y no lineal de los modelos? La pregunta no Lineal vs modelo lineal generalizado: ¿Cómo usted se refiere a la logística, de Poisson, etc. la regresión? y su respuesta fue muy útil la aclaración de la linealidad/no linealidad de los modelos lineales generalizados. Parece críticamente importante distinguir lineal de modelos no lineales, pero no está claro para mí por qué? Por ejemplo, considere estos modelos de regresión:

\begin{align} E[Y \mid X] & = \beta_0 + \beta_1 X \tag{1} \\ E[Y \mid X] & = \beta_0 + \beta_1 X + \beta_2 X^2 \tag{2} \\ E[Y \mid X] & = \beta_0 + \beta_1^2 X \tag{3} \\ E[Y \mid X] & = \{1+\exp(-[ \beta_0 + \beta_1 X]\}^{-1} \tag{4} \end{align}

Ambos Modelos 1 y 2 son lineales, y las soluciones a $\beta$ existen en forma cerrada, fácil de encontrar el uso de un estándar de MCO estimador. No así para los Modelos 3 y 4, que son no lineales, debido a que (algunos de) los derivados de la $E[Y\mid X]$ wrt $\beta$ todavía son funciones de $\beta$.

Una solución simple para la estimación de $\beta_1$ en el Modelo 3 es para linealizar el modelo mediante el establecimiento $\gamma = \beta_1^2$, calcular el $\gamma$ utilizando un modelo lineal, y, a continuación, calcular $\beta_1 = \sqrt{\gamma}$.

Para la estimación de los parámetros en el Modelo 4, podemos suponer $Y$ sigue una distribución binomial (miembro de la exponencial de la familia), y usando el hecho de que la logística forma de que el modelo es el enlace canónico, alinear el r.h.s. de la modelo. Este fue Nelder y Wedderburn la contribución seminal.

Pero, ¿por qué no linealidad de un problema en el primer lugar? Por qué no simplemente utilizar algún algoritmo iterativo para resolver el Modelo 3 sin alinear el uso de la función raíz cuadrada, o el Modelo 4 sin invocar GLMs. Sospecho que antes generalizada de la potencia de cálculo, los estadísticos estaban tratando de alinear todo. Si es cierto, entonces tal vez los "problemas", presentado por la no linealidad son un vestigio del pasado? Son las complicaciones introducidas por los no-lineal de los modelos meramente computacional, o hay alguna otra de las cuestiones teóricas que hacen de modelos no lineales más difícil ajuste a los datos de modelos lineales?

Answer 1

Puedo ver dos diferencias principales:

• linealidad hace que sea sencillo y robusto. Por ejemplo, (lineal) OLS es imparcial estimador bajo desconocido alteración de la distribución. En general, GLM y modelos no lineales no son. OLS es también robusto para diversos error estructura (modelo de efectos aleatorios, agrupación, etc) donde en modelos no lineales normalmente tendrá que asumir la distribución exacta de estos términos.

• La solución es fácil: sólo un par de matriz de multiplicaciones + 1 inversa. Esto significa que casi siempre se puede resolver, incluso en los casos donde la función objetivo es casi plana (multicolinealidad.) Métodos iterativos no puede converger en tales casos problemáticos (que, en un sentido, es una buena cosa.) Fácil solución puede o no puede ser menor de un problema hoy en día. Los equipos llegar más rápido, pero los datos se hacen más grandes. Has probado a ejecutar una regresión logit sobre 1G observaciones?

Además de que los modelos lineales son más fáciles de interpretar. En los modelos lineales de efectos marginales iguales a los coeficientes y son independientes de los valores de X (aunque polinomio términos de tornillo hasta este simplicidad.)

Answer 2

Muchos de los modelos de la biología (y en otros ámbitos) no son lineales, por lo que se adaptan mejor a la regresión no lineal. La matemática es muy diferente, por supuesto. Pero desde el punto de vista del analista de datos, realmente sólo hay una diferencia importante.

La regresión no lineal requiere inicial de los valores estimados para cada parámetro. Si estas estimaciones iniciales se forma, el programa de regresión no lineal pueden converger en una falsa mínimo y dar inútil o resultados engañosos.

Answer 3

En primer lugar voy a sustituir la palabra 'modelo' de la palabra 'regresión'. Yo creo que para las dos palabras que uno realmente está preguntando qué es la correspondiente ecuaciones que definen el modelo y cuáles son las hipótesis relevantes relacionados con los valores de la variable dependiente y los valores predichos por la ecuación/modelo. Creo que el término 'modelo' es más estándar. Si usted está de acuerdo con eso, sigue leyendo.

Debo esta respuesta a reflexiones sobre el comentario de un colega que es una formación clásica probabilist y estadístico. Él se opuso violentamente a un libro llamando a un polinomio de regresión como no-lineal y es que cuando he leído más en serio acerca de modelos no lineales. Creo que la respuesta correcta es que un modelo lineal asume que el término de error es de Gauss, mientras que un modelo lineal generalizado asume una forma más genérica para el término de error. Si $\phi_1, \ldots, \phi_n$ son cualquier conjunto de funciones, entonces se puede intentar construir un modelo lineal en $\phi_1, \ldots, \phi_n$. Por ejemplo, si $\phi_i = x^i$ , entonces obtenemos un polinomio de regresión. Se trata de un modelo lineal si la diferencia de $\epsilon_i = y_i - \sum a_{ij}x^j $ es Gaussiano. En mi humilde opinión, creo que wikipedia tiene una explicación razonable de general de modelos lineales. Creo que esta es la clave de la frase - " El GLM generaliza la regresión lineal, permitiendo que el modelo lineal estar relacionada con la variable de respuesta a través de una función de enlace y permitiendo que la magnitud de la varianza de cada una de las mediciones a ser una función de su valor de predicción." Así que un glm permite una más general del término de error. Esto permite mayor flexibilidad en el modelado. El precio ? Calcular el modelo correcto es más difícil. Uno ya no tiene un método sencillo de cálculo de los coeficientes. Los coeficientes de una regresión lineal se puede encontrar mediante la minimización de un funcional cuadrática que tiene un único mimimum. En las palabras de Borat, para un glm , no tanto. Uno tiene que calcular la mle, y más desde que el procedimiento es numérica definitivamente hay un problema con la búsqueda de los mínimos locales versus real de los mínimos.