Relación no lineal entre las variables independientes en el modelo lineal

Question

Supongamos que tenemos un modelo lineal con 4 variables independientes, y 2 de ellas tienen una fuerte relación no lineal (entre ellas). ¿Cómo podría afectar este hecho a mi modelo ( $R^2$ o implicaciones sobre la solidez del modelo)?

Es una pregunta que me surgió mientras trabajaba con regresiones lineales. ¿Algún consejo?

Answer 1

Cuando se refiere a un "modelo lineal", entiendo que se trata de un modelo de mínimos cuadrados ordinarios con ajuste lineal para cuatro regresores. Si la relación con los predictores es de hecho no lineal, hay varias maneras de avanzar:

Primera solución: dejarlos como están. El modelo resultante da predicciones sesgadas y tiene errores heteroscedásticos, pero ¿y qué? Tal vez el rendimiento del modelo sea lo suficientemente bueno, y tiene la ventaja añadida de ser sencillo y fácil de comunicar. El R^2 no se interpreta como una fracción de la varianza "explicada", sino como el error cuadrático medio de las predicciones. El riesgo de hacer esto es que, al validar el modelo en datos independientes, puede haber un cambio en la distribución de los regresores, y los dominios en los que el modelo heteroscedástico funcionó mal pueden estar sobrerrepresentados.

Segunda solución: incluir términos de orden superior o puntos de ruptura (splines). Los splines son aproximaciones polinómicas muy adecuadas que pueden capturar la mayoría de las formas de no linealidad. La ventaja es que son fáciles de ajustar y son posible para interpretar. No es necesario que compliquen drásticamente el modelo. El problema es que pueden ser algo difíciles de comunicar. Por ejemplo, con una tendencia cuadrática, hay muchas características de interés, como la ubicación del punto de inflexión y la magnitud de la tendencia en varios niveles del (los) regresor(es). Es un punto sutil calcular estas cosas y presentar sus intervalos de confianza.