Serie de tiempo 'clustering' en R

Question

Tengo un conjunto de datos de series de tiempo. Cada serie cubre el mismo período, aunque las fechas reales de cada serie temporal pueden no estar todas "alineadas" exactamente.

Es decir, si la serie de tiempo se leyera en una matriz 2D, se vería algo así:

date     T1   T2   T3 .... TN
1/1/01   100  59   42      N/A
2/1/01   120  29   N/A     42.5
3/1/01   110  N/A  12      36.82
4/1/01   N/A  59   40      61.82
5/1/01    05  99   42      23.68
...
31/12/01  100  59   42     N/A

etc 

Quiero escribir un guión R que separará las series temporales {T1, T2, ... TN} en 'familias' donde una familia se define como un conjunto de series que "tienden a moverse en simpatía" entre sí.

Para la parte de "agrupación", necesitaré seleccionar/definir un tipo de medida de distancia. No estoy muy seguro de cómo hacerlo, ya que estoy tratando con series temporales, y un par de series que pueden moverse en simpatía en un intervalo, puede no hacerlo en un intervalo posterior.

Estoy seguro de que hay mucha más gente con experiencia y habilidad que yo aquí, por lo que agradecería cualquier sugerencia, ideas sobre qué algoritmo/heurístico utilizar para la medida de la distancia y cómo utilizarlo para agrupar las series temporales.

Mi conjetura es que NO hay un método estadístico robusto establecido para hacer esto, así que estaría muy interesado en ver cómo la gente se acerca/resuelve este problema - pensando como un estadístico.

Answer 1

En el flujo de datos y la minería de bases de datos de series temporales, un enfoque habitual consiste en transformar las series a una representación simbólica y, a continuación, utilizar una métrica de similitud, como la distancia euclídea, para agrupar las series. Las representaciones más populares son SAX (Keogh & Lin) o la más reciente iSAX (Shieh & Keogh):

• AproXimación simbólica agregada
• iSAX: indexación y extracción de series temporales de tamaño terabyte

Las páginas anteriores también contienen referencias a las métricas de distancia y a la agrupación. Keogh y su equipo se dedican a la investigación reproducible y son bastante receptivos a la publicación de su código. Así que puedes preguntarles por correo electrónico. Sin embargo, creo que suelen trabajar en MATLAB/C++.

Recientemente se ha intentado crear una aplicación en Java y R:

• jmotif

No sé cómo de avanzado está - está orientado a la búsqueda de motivos, pero, dependiendo de lo lejos que hayan llegado, debería tener las partes necesarias que necesitas para montar algo para tus necesidades (iSAX y métricas de distancia: ya que esta parte es común a la agrupación y a la búsqueda de motivos).

Answer 2

Otra forma de decir "tienden a moverse en simpatía" es "cointegrados".

Existen dos formas estándar de calcular cointegración : Método de Engle-Granger y procedimiento de Johansen. Estos temas se tratan en "Análisis de series temporales integradas y cointegradas con R" (Pfaff 2008) y el correspondiente R paquete urca . Recomiendo encarecidamente el libro si desea aplicar estos métodos en R.

También le recomiendo que consulte esta pregunta sobre series temporales multivariantes y, en particular, en Curso de Ruey Tsay en la Universidad de Chicago que incluye todo el código R necesario.

Answer 3

Los dinamicistas de poblaciones, sobre todo los que estudian los insectos para comprender las tendencias de brotes y colapsos, suelen agrupar las series temporales. Busque trabajos sobre la polilla gitana, el gusano barrenador del abeto, el escarabajo del pino de montaña y la polilla del brote del alerce.

Para la agrupación propiamente dicha, se puede elegir la métrica de distancia que se desee, cada una de las cuales tiene probablemente sus propios puntos fuertes y débiles en relación con el tipo de datos que se van a agrupar (Kaufmann y Rousseeuw, 1990). Encontrar grupos en los datos. Introducción al análisis de conglomerados es un buen punto de partida. Recuerde que al método de agrupación no le "importa" que esté utilizando una serie temporal, sólo se fija en los valores medidos en el mismo momento. Si sus dos series temporales no están lo suficientemente sincronizadas a lo largo de su vida, no se agruparán (y quizás no deberían hacerlo).

El problema es determinar el número de conglomerados (familias) que se utilizarán una vez agrupadas las series temporales. Hay varias formas de seleccionar un límite de conglomerados informativos, pero la bibliografía al respecto no es muy buena.

Answer 4

Véase mi respuesta a una pregunta similar aquí . Resumiendo, haga una transformada rápida de Fourier de los datos, descarte las frecuencias redundantes si los datos de entrada son de valor real, separe las partes real e imaginaria de cada elemento de la transformada rápida de Fourier y utilice el paquete Mclust de R para realizar una agrupación basada en modelos de las partes real e imaginaria de cada elemento de cada serie temporal. El paquete automatiza la optimización sobre el número de conglomerados y sus densidades.

Answer 5

También puede utilizar el paquete clustDDist, que realiza el método de líderes y el método de agrupación jerárquica con diferentes medidas de error:

http://r-forge.r-project.org/projects/clustddist/

La distancia euclidiana al cuadrado favorece los patrones de distribuciones que tienen un pico alto pronunciado y, por lo tanto, mide $$ d_4(x, y) = \frac{(x-y)^2}{y} $$ a veces es preferible.