Frecuencia de salto de detección de

Question

Es generalmente conocido que los "saltos" en los datos de frecuencia son difíciles de estimar. En la literatura actual, muchas técnicas diferentes para la estimación de tales saltos han sido probados y, a menudo, con resultados satisfactorios. Un resume de papel sobre algunas de estas técnicas sería, por ejemplo, Riley, 2008.

Sin embargo, todas estas técnicas son respecto a los datos de frecuencia que 'flota', en el sentido de que los datos que devuelve a una media de $\alpha>0$. Estoy interesado en la detección de brotes de datos de frecuencia donde $\alpha = 0$.

Una visualización de este tipo de frecuencia de los datos (gráfico de Brookmeyer Y Stroup, 2003) sería:

Ahora he descubierto que este tipo de datos es a menudo considerado en el 'brote de la enfermedad de detección de la literatura. Pero yo no soy capaz de encontrar buenos transformaciones, algoritmos o procedimientos de estimación .

Esto podría ser debido al hecho de que estoy seguro del nombre de este tipo de datos de frecuencia.

El gráfico que mostró por encima de Brookmeyer Y Stroup es un CUSUM de la trama de 'flotante' de frecuencia de los datos, así que no los datos en sí. Afirman que si el CUSUM parcela supera $h\sigma$, una alerta se declara. Esto tiene sentido, dado que el CUSUM es una transformación de las desviaciones de la media. Pero en el caso de $\alpha=0$ tipo de frecuencia de datos, esta técnica no se puede aplicar.

Así que tengo dos preguntas:

• Lo que se conoce transformaciones (como CUSUM para 'flotante' de frecuencia de datos) para este tipo?
• Lo que son bien conocidos y ampliamente utilizado algoritmos de detección de este tipo?

Cualquier conocimiento, son muy apreciados.

Editar (algunos intuición)

Los algoritmos simples que funcionan bien en tiempo real podría ser algún tipo de transformación que tiene en cuenta la media o desvest. de los datos. A pesar de que las transformaciones son fáciles de construir, puede ser muy difícil de separar de "real" brotes " de normal observaciones. Esto debido a que la media y desvest. ambos tienden a cero cuando se toma a través de una ventana determinada. E. g. un umbral como $k \sigma$ o $k \mu$ no va a ser sólida.

Answer 1

Qué interesante conjunto de datos. Me imagino que su tipo específico de datos no representan 500 eventos independientes simplemente... co-ocurrencia, a continuación, volver a 0 de estos eventos que ocurren durante muchos años. Similar a los brotes de la enfermedad, no es (probablemente) un evento inesperado que cambia el estado del mundo a otra en la que el éxito es posible, entonces 500 éxitos se producen, a continuación, volvemos a nada de lo que ocurra de nuevo.

Usted consideraría el obstáculo de modelos para estimar la probabilidad de que este "brote" que ocurren y el tamaño de la "brote"? Obstáculo modelos indican que el estado natural del mundo es de 0 eventos. Pero si algún obstáculo se pasa, a continuación, el estado de el mundo es uno en el que el número de eventos que se extrae de una distribución diferente (que no incluye el cero). Son muy similares a cero-inflado de los modelos (donde la segunda distribución incluye el cero). Sin embargo, no modelo de discontinuidades de salto.

Creo que esto coincide con la descripción de $h\sigma$, y dado nada más, valdría la pena investigar más a fondo.

Answer 2

Pues parece que tiene una serie de tiempo aquí, le recomiendo que revise mi respuesta pertinente para algunas ideas (serie de tiempo de la agrupación, la entropía medidas, la detección de anomalías) así como enlaces a más información. Además, también me gustaría considerar la posibilidad de la transformación de Fourier enfoque.

ACTUALIZACIÓN (con base en la discusión con el OP en los comentarios de abajo):

En lo que respecta a la búsqueda de soluciones analíticas del problema, a mí me parece que existen varios enfoques: 1) aplicar CUSUM (u otros) la transformación de los datos originales y, a continuación, realizar análisis posteriores (detección); 2) el uso de CUSUM para detectar los cambios abruptos; 3) el uso alternativo de los algoritmos.

Hablando de CUSUM transformaciones, parece ser un tema de debate - algunos investigadores aconsejan en contra de ella, advirtiendo sobre la posible pérdida de validez inferencial, mientras que otros están en desacuerdo y aún considero que el enfoque útil. Usted también puede encontrar este papel relevante y útil.

Hablando de la selección de los algoritmos , así como la teoría detrás del tema y los correspondientes métodos, recomiendo excelente y amplio y libremente disponible en línea libro "Detección de Cambios Abruptos: Teoría y Aplicación" por Basseville y Nikiforov.

En cuanto a la selección de software para implementar el cambio abrupto (anomalía) de detección, yo recomendaría a explorar varios R paquetes que parecen ofrecer necesario analítica funcionalidad (además de la visual) y el apoyo de CUSUM y algoritmos similares. En particular, echa un vistazo a los siguientes paquetes: strucchange (ver viñeta / JSS papel), changepoint (ver viñeta), surveillance. La última pregunta para la mención especial (teniendo en cuenta los conocimientos de los suyos y de RegressForward), puesto que este paquete presenta un marco y aplica métodos estadísticos para el análisis de la epidemia-como el proceso de los fenómenos (en diversos campos mucho más allá de epidemiología). El proyecto de la página de inicio y el desarrollo están alojados en la R-Forge, pero el paquete de R está disponible en CRAN. Una viñeta y relacionados con las diapositivas de la presentación están disponibles. Espero que esta actualización mejora significativamente mi respuesta y es útil.