Quiero evaluar y comparar el rendimiento de varios modelos con respecto a la modelización de datos de series temporales (los datos en cuestión son ingresos diarios). Parece que el error de validación cruzada podría ser una forma razonable de hacerlo.
Citaré este puesto que resume muy bien un procedimiento de validación cruzada de series temporales:
Un enfoque que a veces es más básico para las series temporales es el encadenamiento hacia adelante, donde su procedimiento sería algo así:
- pliegue 1 : entrenamiento [1], prueba [2]
- pliegue 2 : entrenamiento [1 2], prueba [3]
- pliegue 3 : entrenamiento [1 2 3], prueba [4]
- pliegue 4 : formación [1 2 3 4], prueba [5]
- pliegue 5 : formación [1 2 3 4 5], prueba [6]
Una descripción más completa del procedimiento se encuentra en esta entrada del blog y este libro .
Mi pregunta principal es:
Para cada uno de los diferentes modelos que estoy utilizando, ¿cómo puedo establecer, k, el tamaño mínimo requerido del conjunto de entrenamiento, para que la evaluación del modelo sea justa?
Intuyo que la estimación de k puede causar problemas; por ejemplo, se podría fijar k de forma que se reduzca el error medio, cuando en realidad sería válido un error mayor.
Y una pregunta complementaria: ¿es válido comparar modelos que tienen valores de k muy diferentes?
Por ejemplo, para un modelo podría tener un vector de error de tamaño 10, ya que k era muy grande, mientras que para otro podría tener un vector de error de tamaño 1000.
¿Es justo comparar el RMSE en este caso?
¿Supongo que valdría la pena mirar la propagación del error?
Los modelos que planeo comparar son varias arquitecturas NN diferentes, cosas ARIMA, técnicas ML, junto con algunos enfoques de referencia, como la media, la regresión lineal, etc.
No tengo una gran cantidad de datos, así que a menudo los modelos NN necesitan ser entrenados en la mayoría de los datos antes de que funcionen bien (al menos esa es mi intuición).
Se agradece cualquier opinión al respecto.
