Análisis de series temporales de validación cruzada

Question

He estado usando el paquete de caretas en R para construir modelos predictivos de clasificación y regresión. Caret proporciona una interfaz unificada para afinar los hiperparámetros del modelo mediante validación cruzada o con el método de arranque. Por ejemplo, si está construyendo un modelo simple de "vecinos más cercanos" para la clasificación, ¿cuántos vecinos debe utilizar? 2? 10? 100? Caret le ayuda a responder a esta pregunta volviendo a muestrear sus datos, probando diferentes parámetros y, a continuación, agregando los resultados para decidir cuál es el que ofrece la mejor precisión predictiva.

Me gusta este enfoque porque proporciona una metodología robusta para elegir los hiperparámetros del modelo y, una vez elegidos los hiperparámetros finales, proporciona una estimación validada cruzada de lo "bueno" que es el modelo, utilizando la precisión para los modelos de clasificación y el RMSE para los modelos de regresión.

Ahora tengo algunos datos de series temporales para los que quiero construir un modelo de regresión, probablemente utilizando un bosque aleatorio. ¿Cuál es una buena técnica para evaluar la precisión predictiva de mi modelo, dada la naturaleza de los datos? Si los bosques aleatorios no se aplican realmente a los datos de series temporales, ¿cuál es la mejor manera de construir un modelo de conjunto preciso para el análisis de series temporales?

Answer 1

La técnica "clásica" de validación cruzada de k veces se basa en que cada muestra del conjunto de datos disponible se utiliza (k-1)-veces para entrenar un modelo y 1 vez para probarlo. Dado que es muy importante validar los modelos de series temporales con datos "futuros", este enfoque no contribuye a la estabilidad del modelo.

Una propiedad importante de muchas (¿la mayoría?) series temporales es la correlación entre los valores adyacentes. Como señala IrishStat, si utiliza lecturas anteriores como variables independientes de su modelo candidato, esta correlación (o falta de independencia) desempeña un papel importante y es otra razón por la que la validación cruzada de k veces no es una buena idea.

Una forma de superar este problema es "sobremuestrear" los datos y decorrelacionarlos. Si el proceso de descorrelación tiene éxito, el uso de la validación cruzada en las series temporales resulta menos problemático. Sin embargo, no resolverá el problema de la validación del modelo con datos futuros.

Aclaraciones

por validar el modelo con datos futuros me refiero a construir el modelo, esperar nuevos datos que no estaban disponibles durante la construcción del modelo, probarlos, afinarlos, etc. y validarlo con ellos nuevo datos.

Por sobremuestreo de los datos me refiero a la recopilación de datos de series temporales con una frecuencia muy superior a la necesaria en la práctica. Por ejemplo: muestrear los precios de las acciones cada 5 segundos, cuando lo que realmente interesa son las alteraciones horarias. Aquí, cuando digo "muestreo" no me refiero a "interpolar", "estimar", etc. Si los datos no pueden medirse con mayor frecuencia, esta técnica no tiene sentido

Answer 2

http://robjhyndman.com/researchtips/crossvalidation/ contiene un consejo rápido para la validación cruzada de series temporales. En cuanto a la utilización de bosques aleatorios para datos de series temporales.... no estoy seguro, aunque parece una opción impar dado que el modelo se ajusta utilizando muestras bootstrap. Por supuesto, hay métodos clásicos de series temporales (por ejemplo, ARIMA) que pueden utilizarse, al igual que las técnicas de ML como las redes neuronales (ejemplo ejemplo pdf ). Quizás alguno de los expertos en series temporales pueda comentar qué tal funcionan las técnicas de ML en comparación con los algoritmos específicos de series temporales.

Answer 3

Aquí hay algunos código de ejemplo para la validación cruzada de modelos de series temporales. I ampliado este código en mi blog incorporando el para cada paquete para acelerar las cosas y permitir un posible término xreg en la validación cruzada.

Aquí hay una copia del código del blog de Rob Hyndman:

library(fpp) # To load the data set a10
plot(a10, ylab="$ million", xlab="Year", main="Antidiabetic drug sales")
plot(log(a10), ylab="", xlab="Year", main="Log Antidiabetic drug sales")

k <- 60 # minimum data length for fitting a model
n <- length(a10)
mae1 <- mae2 <- mae3 <- matrix(NA,n-k,12)
st <- tsp(a10)[1]+(k-2)/12

for(i in 1:(n-k))
{
  xshort <- window(a10, end=st + i/12)
  xnext <- window(a10, start=st + (i+1)/12, end=st + (i+12)/12)
  fit1 <- tslm(xshort ~ trend + season, lambda=0)
  fcast1 <- forecast(fit1, h=12)
  fit2 <- Arima(xshort, order=c(3,0,1), seasonal=list(order=c(0,1,1), period=12), 
      include.drift=TRUE, lambda=0, method="ML")
  fcast2 <- forecast(fit2, h=12)
  fit3 <- ets(xshort,model="MMM",damped=TRUE)
  fcast3 <- forecast(fit3, h=12)
  mae1[i,1:length(xnext)] <- abs(fcast1[['mean']]-xnext)
  mae2[i,1:length(xnext)] <- abs(fcast2[['mean']]-xnext)
  mae3[i,1:length(xnext)] <- abs(fcast3[['mean']]-xnext)
}

plot(1:12, colMeans(mae1,na.rm=TRUE), type="l", col=2, xlab="horizon", ylab="MAE",
     ylim=c(0.65,1.05))
lines(1:12, colMeans(mae2,na.rm=TRUE), type="l",col=3)
lines(1:12, colMeans(mae3,na.rm=TRUE), type="l",col=4)
legend("topleft",legend=c("LM","ARIMA","ETS"),col=2:4,lty=1)

Answer 4

Si tiene datos de series temporales, es posible que tenga un "problema de grados de libertad". Por ejemplo, si tiene 4 observaciones tomadas a intervalos de una hora y luego decide utilizar 241 observaciones a intervalos de un minuto, tiene 241 observaciones, pero no son necesariamente independientes. Cuando se envían estos 241 valores/medidas a un paquete analítico, el paquete podría esperar que se tratara de 241 valores independientes al proceder a realizar su magia particular. Si tiene datos de series temporales, es posible que tenga que actualizar sus análisis. No conozco el programa al que se refiere, pero creo que sus pruebas (pruebas F, pruebas T, etc.) probablemente no se apliquen a su conjunto de problemas.

Answer 5

Te puedo recomendar 2 documentos interesantes para leer que están en línea 1.Streamed Learning: One-Pass SVMs, por Piyush Rai, Hal Daum'e III, Suresh Venkatasubramanian 2.Aproximación de k-means en streaming, por Nir Ailon

Espero que te aclare un poco tus ideas