B-Splines VS polinomios de alto orden en regresión

Question

No tengo en mente ningún ejemplo o tarea específica. Sólo soy nuevo en el uso de b-splines y quería obtener una mejor comprensión de esta función en el contexto de regresión.

Supongamos que queremos evaluar la relación entre la variable de respuesta $y$ y algunos predictores $x_1, x_2,...,x_p$ . Los predictores incluyen algunas variables numéricas y otras categóricas.

Supongamos que tras ajustar un modelo de regresión, una de las variables numéricas, por ejemplo $x_1$ es significativo. Un paso lógico posterior es evaluar si los polinomios de orden superior, por ejemplo: $x_1^2$ y $x_1^3$ para explicar adecuadamente la relación sin sobreajustar.

Mis preguntas son:

1. ¿En qué momento hay que elegir entre b-splines o un polinomio simple de orden superior, por ejemplo en R?

   y ~ poly(x1,3) + x2 + x3

   vs

    y ~ bs(x1,3) + x2 + x3

2. ¿Cómo se pueden utilizar los gráficos para decidir entre una u otra opción y qué ocurre si no queda claro a partir de los gráficos (por ejemplo, debido a la gran cantidad de puntos de datos)?

3. ¿Cómo evaluaría los términos de interacción bidireccional entre $x_2$ y digamos $x_3$

4. ¿Cómo cambia lo anterior para los distintos tipos de modelos?

5. ¿Considerarías no utilizar nunca polinomios de alto orden y ajustar siempre b-splines y penalizar la alta flexibilidad?

Answer 1

Normalmente sólo consideraría splines en lugar de polinomios. Los polinomios no pueden modelar umbrales y a menudo son indeseablemente globales, es decir, las observaciones en un rango del predictor tienen una fuerte influencia en lo que hace el modelo en un rango diferente ( Magee, 1998, El Estadístico Americano y Frank Harrell Estrategias de modelización de la regresión ). Y, por supuesto, los splines restringidos que son lineales fuera de los nudos extremos son mejores para la extrapolación, o incluso la intrapolación en valores extremos de los predictores.

Uno de los casos en los que se pueden considerar los polinomios es cuando es importante explicar el modelo a un público no técnico. La gente entiende mejor los polinomios que las splines. (Editar: Matthew Drury señala que la gente sólo puede piense en entienden mejor los polinomios que los splines. No voy a tomar partido en esta cuestión).

Los gráficos no suelen ser muy útiles para decidir entre distintas formas de tratar la no linealidad. Es mejor hacer una validación cruzada. Esto también le ayudará a evaluar las interacciones, o encontrar una buena penalización.

Por último, mi respuesta no cambia con el tipo de modelo, porque los puntos anteriores son válidos para cualquier modelo estadístico o ML.

Answer 2

En la sección 7.4.5 de "The Elements of Statistical Learning", se dice que los splines suelen dar resultados superiores a la regresión polinómica, porque:

• Produce ajustes flexibles;
• Produce estimaciones más estables;
• Los polinomios pueden producir resultados no deseados en los límites.