¿Cómo puedo probar un modelo de regresión no lineal frente a uno lineal?

Question

Tengo un modelo de regresión de panel en el que las Ys asumen una forma curva cuando se trazan en el tiempo. Un histograma de los residuos muestra que se distribuyen normalmente, pero un gráfico de residuos vs. ajuste muestra un patrón (véase la imagen 1).

Cuando transformo el logaritmo de la variable Y (añadiendo un escalar a los ceros), los residuos siguen teniendo una distribución normal y el gráfico residuo-vs-ajuste muestra un patrón aún más severo (ver imagen 2).

¿Hay alguna prueba estadística adicional para determinar si una técnica de estimación lineal o no lineal es mejor para estimar este modelo?

¿Existe un enfoque mejor para tratar la no linealidad de mi variable Y?

Edición: ¡gracias por los comentarios y las opiniones!

• La VD es una variable continua (MW de capacidad eólica por estado-año) - pero como @JimBaldwin descubrió, el conjunto de datos original tiene muchos ceros.
• Teniendo en cuenta esto, he pensado en utilizar un modelo de Poisson, pero como he configurado esto como un panel espacial dinámico, no estoy seguro de cómo lo haría.
• He estimado los gráficos r-v-f utilizando una regresión OLS agrupada y mis modelos principales están utilizando xsmle en Stata, que adopta un enfoque de estimación ML.
• También he intentado especificar un término cuadrático y un término cuadrático inverso en el modelo (basado en la prueba de la escalera), pero no mejoran mucho los gráficos residuo-vs-ajuste ni la adición de estos términos mejora el AIC.
• Un histograma de los residuos revela que están distribuidos normalmente, pero no centrados en cero (véase la imagen 3).

Edición 2: Añadido el modelo como imagen.

Answer 1

Esto es quizás más un comentario que una respuesta, pero no se me permite comentar. Este comentario pretende ser un complemento de la respuesta y los comentarios existentes.

Por modelo de regresión no lineal (por mínimos cuadrados) se entiende generalmente que el modelo es no lineal en los parámetros (no lineal al menos en un parámetro). Como se ejemplifica en la respuesta de Ekaba Bisong, otra posibilidad es tener un modelo de regresión lineal con términos que son no lineales en una o más variables independientes, pero lineales en los parámetros. Cualquiera de las dos formas puede ajustarse a una relación no lineal entre la variable dependiente y una o más variables independientes. Por lo tanto, la regresión lineal frente a la no lineal ni siquiera es la forma correcta de pensar en ello. Más bien, la relación lineal vs. no lineal entre la variable dependiente y las variables independientes es lo que realmente "quieres" preguntar.

Un modelo de regresión no lineal permite una flexibilidad adicional en la forma de relación no lineal entre la variable dependiente y las variables independientes que el uso de un modelo de regresión lineal que añade términos no lineales en las variables independientes pero lineales en los parámetros.

Otra cosa en la que hay que pensar es en la distribución de probabilidad de los errores. Por ejemplo, consideremos el modelo $y = a \exp(bx)$ . Esto se puede resolver como un modelo de regresión no lineal, o se puede tomar el logaritmo de ambos lados y resolverlo como un problema de regresión lineal $\ln y = \ln a + b x$ . Estos dos modelos NO son equivalentes, a pesar de las frecuentes afirmaciones de que lo son (es decir, que la versión de mínimos cuadrados lineales está "haciendo" mínimos cuadrados no lineales). Los errores de la versión de regresión lineal son los logaritmos naturales de los errores de la versión de mínimos cuadrados no lineales. No puede darse el caso de que tanto el error como su logaritmo se distribuyan normalmente (por supuesto, ninguno de los dos puede serlo), por lo que uno u otro puede ser mejor en función de cuál tenga errores más próximos a la distribución normal.

Answer 2

En los gráficos queda claro que la distribución no tiene la forma continua que las transformaciones remedian. Sugiero utilizar un modelo semiparamétrico como el modelo logístico ordinal de probabilidades proporcionales. Este modelo permite la "aglomeración en el cero", además de cualquier otra rareza en la distribución, siempre y cuando la conexión entre las distribuciones para los diferentes ajustes de las covariables sea la modelada (por ejemplo, la hipótesis de las probabilidades proporcionales o la hipótesis de los riesgos proporcionales se cumple). Un ejemplo detallado es aquí . Obsérvese que con la regresión ordinal no se bin $Y$ a menos que tenga más de, por ejemplo, 10.000 intercepciones en el modelo cuando utilice la herramienta R orm función.

Answer 3

¡Hay un patrón notable aquí! El gráfico transformado en logaritmo muestra que los residuos (términos de error) tienen una alta correlación negativa a medida que aumentan los valores ajustados, y los puntos no están dispersos al azar alrededor de la línea cero de izquierda a derecha.  Este gráfico sugiere que el modelo de regresión que produjo este resultado es incorrecto.

En cuanto a un mejor enfoque para tratar la no linealidad, no hay una respuesta única, pero hay varias opciones. Un método consiste en ajustar el modelo añadiendo un término cuadrado al modelo, por ejemplo

$$f(x) = \beta_{0} + \beta_{1}x_{1it} + \beta_{2}x_{2it}^{2} + … + \epsilon_{it}$$

Al ser un modelo de regresión de panel, el subíndice
$i$ representa la unidad transversal, $i = 1, \dots, n$ .
$t$ significa el período de tiempo, $t = 1, \dots, T$ .

Pero hay que tener cuidado de no sobreajustar el modelo, ya que esto conduce a una alta varianza cuando se generaliza a nuevos ejemplos.

Answer 4

Cabe destacar que MW (su variable dependiente) se trunca en cero. Esto debería ser lo primero que su modelo tiene en cuenta. Ahora mismo, muchos de los valores ajustados son mucho menores que cero. Esto significa que la forma funcional de su modelo de regresión está mal especificada.

Hay varias formas de abordar esta cuestión. Una de ellas es emplear un modelo de difusión tecnológica que suponga un origen "cero" para una serie temporal, seguido de un proceso de difusión basado en las acumulaciones de la nueva capacidad de MW añadida cada año para cada estado. En el Programa para el Medio Ambiente Humano de la Universidad Rockefeller hay buenas referencias sobre esta clase de modelos. Busque publicaciones sobre "crecimiento logístico" aquí: http://phe.rockefeller.edu/current/publications

El PHE no es la única fuente de información sobre esta clase de modelos, ya que han sido ampliamente utilizados en el ámbito del marketing en un esfuerzo por comprender el crecimiento de las ventas de nuevos productos. Por ejemplo, busque referencias a los "modelos de nuevos productos de Bass" o desentierre esta revisión: Peres, Muller, Mahajan, Modelos de innovación, difusión y crecimiento de nuevos productos: Una revisión crítica y direcciones de investigación , 2009.

Los enfoques de difusión tienen limitaciones: se basan en la dinámica interna y univariante de las trayectorias de los cumulantes a lo largo del tiempo y, por regla general, no permiten el uso de predictores adicionales en la estimación. Además, estos modelos no producen residuos HAC. De hecho, dada la corta duración de muchos datos de difusión tecnológica, normalmente ni siquiera es posible ajustar enfoques del tipo "Box-Jenkins", ya que no hay suficiente información para inicializar los "p y q" o los rezagos y las medias móviles. Son modelos univariantes, lo que significa que no se prestan a ser apilados como en un enfoque combinado. Por último, se les critica por ser "tautológicos" o deterministas al plantear una forma no lineal o "en S" para sus predicciones.

En este último punto, los modelos lineales pueden ser criticados como deterministas por plantear una linealidad irreal a una serie temporal.

Sin embargo, los modelos de difusión responden a preguntas relacionadas con las tasas de crecimiento, los puntos de inflexión y los probables techos asintóticos o valores máximos proyectados hasta algún punto razonable en el futuro, y como alcanzables en base a la información actual. Además, los "horizontes" de crecimiento pueden construirse a medida que se obtiene nueva información y se reestima el modelo. Además, la necesidad de estimar un modelo único para cada estado puede resolverse asumiendo que existe un proceso de difusión subyacente de la energía eólica y que los diferentes tiempos de adopción por estado son irrelevantes. Si no son "irrelevantes", entonces representan un comportamiento diferente del proceso subyacente y, como tal, requerirían modelos para variables dependientes limitadas con información diferente que capturen los impulsores de la adopción, no el proceso de difusión en el tiempo.

Teniendo en cuenta estas advertencias, este enfoque es muy apropiado para los comportamientos que estás observando.

La difusión de la tecnología tiene sus raíces en el crecimiento económico. Algunas de las mejores contribuciones en este campo no se basan en ecuaciones de crecimiento logístico. Pero, como afirma Paul Romer en un reciente y controvertido artículo Las matemáticas en la teoría del crecimiento económico En 1970, no había ningún teléfono móvil. Hoy hay más de 6.000 millones. Este es el tipo de desarrollo que una teoría del crecimiento debería ayudarnos a entender." Se podría considerar la referencia a esta corriente de trabajo.