Algoritmos para la Serie de Tiempo de Detección de Anomalías

Question

Actualmente estoy usando Twitter AnomalyDetection en R: https://github.com/twitter/AnomalyDetection. Este algoritmo proporciona una serie de tiempo de detección de anomalías de datos con estacionalidad.

Pregunta: ¿existen otros algoritmos similares a este (control de la estacionalidad no importa)?

Estoy tratando de marcar el mayor número de serie de tiempo de los algoritmos de lo posible en mis datos para que yo pueda escoger el mejor / el conjunto.

Answer 1

Twitter algoritmo se basa en Rosner, B., (May 1983), "Percentage Points for a Generalized ESD Many-Outlier Procedure" , Technometrics, 25(2), pp. 165-172 estoy seguro de que ha habido muchas técnicas y avances desde 1983!. He probado en mi interior de datos, y de Twitter en la detección de anomalías de no identificar obvio valores atípicos. Me gustaría utilizar otros métodos como el de bien para la prueba de los valores atípicos en series de tiempo. El mejor que me he encontrado es Tsay de la detección de valores atípicos procedimiento que se aplica en SAS/SPSS/Autobox y SCA de software. Todos los cuales son sistemas comerciales. También hay tsoutliers paquete, lo cual es genial, pero las necesidades de especificación de arima modelo con el fin de trabajar de manera eficiente. Yo he tenido problemas con su valor predeterminado auto.arima con respecto a la optimización y selección de modelo.

Tsay del artículo es un trabajo seminal en la detección de valores atípicos en series de tiempo. Diario líder en el pronóstico de investigación de la Revista Internacional de Previsión mencionó que Tsay del artículo es uno de los más citados de trabajo y de los trabajos más influyentes en un artículo enlazado más arriba (ver abajo). La difusión de esta importante obra y otros algoritmos de detección de outliers en la previsión de software(especialmente en el software de fuente abierta) es una rareza.

Answer 2

Me he encontrado con un par de fuentes que pueden ayudar, pero que no será tan fácil cómodo como la ejecución de una secuencia de comandos de R sobre sus datos: - Numenta tener un código abierto sus NuPIC de la plataforma que se utiliza para muchas cosas, incluyendo la detección de anomalías. - Netflix del Proyecto del Atlas de pronto dará a conocer un open-source de valores atípicos/detección de anomalías de la herramienta. - Prelert tienen una anomalía motor de detección que viene como una aplicación de servidor. A su juicio, ofrece un uso limitado que puede satisfacer sus necesidades.

Alternativamente, mi empresa, Insignum, tiene un producto en beta, que se ingiere datos de series de tiempo y detecta anomalías en un sistema totalmente automatizado, de modo que usted simplemente recibir alertas por correo electrónico cuando se detecten anomalías. Llegar en Twitter o Linkedin y yo estaría encantado de darle más información.

Answer 3

Autobox(mi empresa) proporciona la detección de valores atípicos. Twitter del algoritmo obtiene los grandes valores atípicos, pero echa de menos a los más pequeños en comparación con Autobox.

Se tarda mucho tiempo en ejecutarse, pero los resultados son mejores para encontrar el menor de los valores atípicos y también los cambios en la estacionalidad que también son valores atípicos. A continuación es el modelo de búsqueda de 79 valores atípicos con el primer 8,560 observaciones de 14,398 las observaciones originales. La versión estándar de max a cabo en los 10.000 observaciones, pero puede ser modificado para más, pero no hay ninguna razón real para tener esa cantidad de datos de todos modos cuando se desea identificar y responder a los valores atípicos.

Estábamos influenciados por el trabajo realizado por Tsay en los valores extremos, el nivel de turnos, y la varianza del cambio y el Chow del trabajo sobre los cambios de parámetros, junto con nuestro propio trabajo en la detección de cambios en la estacionalidad,

Si usted descargue la prueba gratuita de 30 días y la carga en la cuenta de Twitter de datos de ejemplo y especificar la frecuencia a 60 y guardar 3 desencadenar archivos en la carpeta de instalación (noparcon.afs, novarcon.afs, notrend.afs) y crear un archivo llamado stepupde.afs con 100.