Evaluación de modelos estadísticos de series temporales: media ponderada de diferentes horizontes de previsión

Question

Quiero utilizar un modelo basado en ARIMA o Prophet para entrenar mis datos. He dividido mis datos en entrenamiento y prueba, y el modelo se entrena solo en el entrenamiento y se pronostica para la prueba.

Cuanto más lejos estén las previsiones en la prueba, peor será el error, ya que ha sido entrenado en el tren y más lejos del tren, el modelo puede errar más. En ese caso, al evaluar las previsiones de los datos de prueba para la métrica del error, ¿no deberíamos tomar una media ponderada considerando la proximidad de las previsiones al final de los datos del tren como peso, ya que serían más precisas?

Me encantaría conocer su opinión al respecto, gracias por la ayuda de antemano :)

Answer 1

Depende de lo que quiera evaluar exactamente. Si quieres evaluar lo bien que el modelo predice $h$ pasos por delante, en lugar de una única división en entrenamiento y prueba podría utilizar ventanas móviles o expansibles (véase, por ejemplo. sección 5.10 de Hyndman & Athanasopoulos "Forecasting: Principles and Practice"). Se aplicaría una función de pérdida a los errores de predicción (o, de forma más general, a las predicciones y los valores reales) y se obtendría la distribución de pérdidas en los casos de prueba. A continuación, se podría tomar alguna métrica de resumen de la distribución de pérdidas, como la pérdida media.

Si desea evaluar la predicción del modelo para varios horizontes diferentes $h$ podría hacer lo mismo para cada horizonte y, a continuación, construir una media ponderada de las pérdidas medias (o alguna otra combinación) en función de lo importante que sea la precisión de las predicciones para cada horizonte. Por ejemplo, si un paso adelante es el doble de importante que dos pasos adelante, podría reflejarlo en la función de pérdida (el doble de pérdida para un paso adelante en relación con dos pasos adelante) o ponderando las pérdidas medias de los distintos horizontes en consecuencia (peso doble frente a peso unitario).