Detectar eventos periódicos en los datos

Question

Tengo una colección de transacciones con tarjeta, cada una con una fecha, un importe, un identificador de tarjeta y un comerciante. Quiero determinar si una tarjeta está realizando pagos periódicos a un determinado comercio. El problema es que el periodo es desconocido, puede haber alguna variación (es decir, diferentes días en un mes, a veces la factura se paga con unos días de retraso) y puede haber eventos intercalados que no coincidan con el ciclo.

En última instancia quiero extraer el subconjunto de transacciones que se consideran periódicas (si es que existe)

Creo que, para empezar, sólo utilizaría la fecha frente a los pagos binarios (es decir, si se ha efectuado un pago o no, sin tener en cuenta el importe).

¿Podría alguien indicarme algunos enfoques al respecto? Mi formación no es estadística y hasta ahora mi búsqueda en Google ha resultado inadecuada. Gracias

Answer 1

Yo no recomendaría convertir los datos en 0/1 . He tenido mucha experiencia con datos de pagos bancarios diarios, acceso a cajeros automáticos, depósitos, etc. Si los pagos son sistemáticos/regulares a un día concreto del mes, entonces es bastante sencillo identificar estos patrones. Sin embargo, si los datos no son sistemáticos, yo sugeriría un enfoque en dos fases. En la primera etapa se identificarían los impulsos y se registrarían la fecha y la magnitud del impulso. La segunda etapa requeriría un enfoque basado en reglas en el que se tomarían los impulsos y los datos asociados a ellos y se agruparían/analizarían de acuerdo con sus especificaciones, es decir, las cosas con 1 día de diferencia o 2 días de diferencia regular deberían considerarse/clasificarse como parte de la misma familia. Otra forma es utilizar el tamaño del pulso/valor inusual como cualificado para la agrupación. La detección de actividad inusual requiere un modelo que incorpore la rutina, por ejemplo, los efectos del día de la semana, los efectos de las vacaciones, los efectos semanales, los efectos mensuales y cualquier estructura autocorrelativa evidenciada en sus datos. Es posible que haya que adaptar o mejorar los programas informáticos disponibles en el mercado para abordar esta cuestión potencialmente espinosa, pero esto es típico de cómo se desarrollan los programas informáticos como resultado de su insuficiencia actual documentada.

Answer 2

Deberías probar el análisis espectral para identificar periodos en tus datos por encima del ruido blanco, su fondo no es especialmente difícil. SAS tiene una gran implementación del mismo.