Detección de patrones en la trama residual

Question

Deseo detectar automáticamente (no por inspección visual) dónde se producen grandes desviaciones en un gráfico de residuos de una regresión. Por ejemplo, supongamos que tengo el gráfico de residuos que aparece a continuación:

Quiero detectar automáticamente que las observaciones a partir de las 30:35 aproximadamente se desvían de un patrón residual normal. Algunas pistas son que la magnitud es bastante grande y que los residuos no parecen independientes en esta región. ¿Cómo puedo hacerlo?

Answer 1

Un modelo de mezcla dependiente (modelo de Markov oculto) puede ser útil, dependiendo del tipo de desviaciones esperadas.

Suponga que sus observaciones proceden de dos distribuciones (o estados), ambas con distribución normal, pero con distinta media y varianza.

Se pueden estimar varios parámetros: Las probabilidades de estado iniciales (2 parámetros), las probabilidades de transición de estado entre puntos de datos vecinos (4 parámetros) y, por último, la media y la varianza de las dos distribuciones (4 parámetros).

En R, este modelo puede estimarse utilizando el paquete depmixS4:

library(depmixS4)

set.seed(3)
y = rnorm(100)
y[30:35] <- rnorm(6,mean=4,sd=2)
plot(1:100,y,"l")

m <- depmix(y~1,nstates=2,ntimes=100)
fm <- fit(m)

means <- getpars(fm)[c(7,9)]
lines(1:100,means[fm@posterior$state],lwd=2,col=2)

Ver http://cran.r-project.org/web/packages/depmixS4/vignettes/depmixS4.pdf por referencias

Answer 2

Los gráficos de residuos como éste pueden utilizarse para cosechar series de predicción deterministas no especificadas. Si se sabe que los datos no son espaciales o no son cronológicos, el resultado sería que hay unos pocos pulsos (valores atípicos aditivos). Sin embargo, si los datos tienen características espaciales o cronológicas, entonces es posible no sólo detectar pulsos, SINO pulsos estacionales o desplazamientos de nivel/paso o tendencias temporales locales que son estadísticamente evidentes en los residuos mediante procedimientos de detección de intervenciones. La detección y posterior incorporación de estos efectos en el modelo final son muy importantes para proporcionar una predicción sólida. Intente buscar en la web "detección automática de intervenciones" o simplemente "detección de intervenciones". Tenga en cuenta que si hay una estructura ARIMA que debe tenerse en cuenta, las cosas se complican un poco, ya que hay que identificar simultáneamente la estructura ARIMA y la estructura de detección de intervención necesaria. En algunos casos, hay que identificar primero el componente ARIMA y luego las variables de intervención necesarias. También es posible que haya que identificar primero las variables de intervención y luego la estructura ARIMA. El análisis le dirá qué enfoque es el mejor para un ejemplo concreto.

Cuando se tienen variables causales sugeridas por el usuario, el problema se vuelve aún más complicado, ya que hay que tener en cuenta aún más combinaciones (6) para determinar la mejor manera de integrar la estructura causal, la estructura arima y la estructura detectada por la intervención.