Detección de valores atípicos en series temporales genéricas

Question

En este caso, "genérico" es todo el conjunto de series temporales macroeconómicas que publican las oficinas estadísticas privadas y gubernamentales.

Algunos antecedentes: hace poco empecé a trabajar en un proveedor de datos; recopilamos publicaciones de datos y las reagrupamos de una manera presumiblemente más conveniente y accesible para nuestros clientes, y tenemos decenas de miles de series de datos (no me sorprendería que superáramos el millón, en realidad). Como parte de nuestro proceso de control de calidad, realizamos la siguiente detección de valores atípicos:

$X_t-X_{t-1} = E_t$
$\sigma^2$ se estima a partir de la muestra resultante de $E_t$ y se calcula una puntuación z basada en $E_t\sim N(0,\sigma^2)$

Creo que podemos hacerlo mejor: las matemáticas se desmoronan claramente para todo lo que no es un paseo aleatorio.

Inicialmente pensé en ajustar un ARMA(m,n) basado en el pico de las funciones de autocorrelación/autocovarianza de las series y comprobar los residuos. Desconfío de la robustez de esto, y un anterior pregunta parece indicar que la autocorrelación no es especialmente robusta.

Answer 1

Tienes mucha razón en que el modelo ARIMA que estás utilizando (primeras diferencias) puede no ser apropiado para detectar valores atípicos. Los valores atípicos pueden ser pulsos, cambios de nivel, pulsos estacionales o tendencias temporales locales. Tal vez quiera buscar en Google "DETECCIÓN DE INTERVENCIONES EN SERIES DE TIEMPO" o "DETECCIÓN AUTOMÁTICA DE INTERVENCIONES" para obtener material de lectura sobre la DETECCIÓN DE INTERVENCIONES. Tenga en cuenta que esto no es lo mismo que la MODELIZACIÓN DE LA INTERVENCIÓN, que a menudo asume la naturaleza del valor atípico y no identifica empíricamente el mismo. Siguiendo las observaciones de mpkitas, uno incluiría los valores atípicos identificados empíricamente como series predictoras ficticias para acomodar su impacto. Se ha trabajado mucho en la identificación de los valores atípicos utilizando un filtro nulo y luego identificando el modelo ARIMA apropiado. Algunos paquetes comerciales suponen que primero se identifica el modelo ARIMA (posiblemente defectuoso por los valores atípicos) y luego se identifican los valores atípicos. Los procedimientos más generales examinan ambas estrategias. Su procedimiento actual sigue el enfoque de "utilizar primero el filtro frontal", pero también es defectuoso por la suposición del filtro frontal.

Algunas reflexiones más: para detectar una anomalía, se necesita un modelo que proporcione una expectativa. La detección de una anomalía proporciona la respuesta a la pregunta "¿Cuál es la probabilidad de observar lo que he observado antes de observarlo? A continuación, se puede utilizar un modelo ARIMA para identificar las observaciones "inusuales" de la serie temporal. El problema es que no se puede detectar un valor atípico sin un modelo (al menos leve) para los datos. Si no, ¿cómo sabrías que un punto viola ese modelo? De hecho, el proceso de aumentar la comprensión y encontrar y examinar los valores atípicos debe ser iterativo. Esta idea no es nueva. Bacon, escribiendo en Novum Organum hace unos 400 años, dijo "Los errores de la Naturaleza, los Deportes y los Monstruos corrigen el entendimiento respecto a las cosas ordinarias, y revelan las formas generales. Porque quien conozca las formas de la Naturaleza notará más fácilmente sus desviaciones; y, por otra parte, quien conozca sus desviaciones entenderá más exactamente la Naturaleza, El modelo que estáis imponiendo en todas vuestras series i es claramente un camino inadecuado.

Answer 2

La winsorización sustituye los valores extremos de los datos por otros menos extremos. http://www.r-bloggers.com/winsorization/