GAM utilizando una spline cíclica mejora la estructura residual pero reduce el ajuste.

Question

Estoy trabajando en un conjunto de datos que monitorea los niveles de humedad del suelo durante el verano. La tendencia general en los datos es la siguiente:

Cuando uso un GAM con una placa base delgada y un proceso AR(1) todavía hay un patrón residual claro:

Ahora, si en su lugar uso una placa cíclica, el patrón residual mejora, pero los valores observados vs. ajustados empeoran un poco, este modelo también tiene un valor de AIC más alto:

Mi pregunta es si es apropiado optar por la placa cíclica aquí ya que mejora la estructura residual, aunque el ajuste general del modelo sea peor.

Answer 1

La respuesta rápida es NO, no deberías usar splines periódicos. De alguna manera estás intentando solucionar un problema secundario (heterocedasticidad) al no solucionar el problema principal, para que las predicciones sean correctas.

Algunos detalles adicionales: Tu primer gráfico muestra una menor varianza en la parte del principio del verano, y una mayor varianza para finales del verano. En este caso, la menor varianza generalmente se asocia con valores más altos. Las transformaciones se utilizan principalmente para el patrón opuesto, por lo que probablemente no sean de mucha utilidad aquí. Además, complicarán el modelado, así que mantente alejado de las transformaciones.

Tu segundo y tercer gráfico (modelo con splines suavizados) es lo que esperarías en este caso: más variabilidad entre los residuos cuando la varianza en los datos es mayor. Esto es solo una parte del fenómeno a modelar, no realmente un problema. La heterocedasticidad no es lo suficientemente fuerte como para justificar mucho, se podría utilizar una estimación ponderada, pero estimarías los pesos a partir de los datos, probablemente sin ganar mucho y presentando otros problemas (¿cómo obtienes errores estándar correctos cuando se estiman los pesos? Podrías intentar el bootstrapping, mi conjetura es que no ganarías nada...)

Los últimos gráficos (modelo con splines suavizados periódicos) confirman esto: Sí, ahora los residuos tienen una varianza aproximadamente constante, pero ¡es en todas partes más alta! Así que no has ganado nada. Tal vez intenta con errores estándar robustos. Si estás utilizando R, aquí hay algunos consejos y código útiles: Cómo calcular el error estándar robusto de la predicción y de un modelo de regresión lineal en R? (que está cerrado por razones incomprensibles, parece ser comprensible y útil)