¿Cómo se calcula la explosividad?

Question

Me gustaría que me aconsejaran sobre la forma de calcular la explosividad. Estoy trabajando con un conjunto de datos de texto, donde cada término se calcula con su frecuencia en el periódico durante 2 semanas, por ejemplo, "apple" durante el lanzamiento de su iphone4s será día1 = 10, día2 = 300, día3 = 25, y así hasta el día14. Por lo tanto, si un término popular como Obama aparece el día 1 = 100, el día 2 = 100, el día 3 = 105... porque es popular, pero otros términos, que son muy frecuentes, serán como el ejemplo de "apple".

¿Existe alguna forma de medir esa explosividad, soy consciente de la desviación estándar, y hay alguna otra forma? El objetivo final es que la burstiness(Obama) sea lo más pequeña posible y la burstiness(manzana) lo más alta posible. Gracias.

Answer 1

Prueba con Índice de dispersión es decir, la varianza/media ( $D = \sigma^2 / \mu $ ). También se conoce como factor de Fano (para su caso - con la ventana de tiempo $W=1\text{ day}$ ).

Para la distribución de Poisson es simplemente $D=1$ (por ejemplo, si la gente escribe post todo el tiempo, no relacionados entre sí).

En el caso de los eventos de ráfaga es $D>1$ (por ejemplo, se da bombo a un producto de Apple).

Para eventos de "auto-evitación $D<1$ (por ejemplo, los informes diarios; si cada día hay el mismo número de mensajes, es sólo $D=0$ ).

Answer 2

Una explosión de un solo día aparecerá como un valor atípico en la distribución de la variable. Existen algunas formas establecidas para evaluar si los valores son atípicos, además de calcular cuántas desviaciones estándar difieren de la media. Una de ellas es la prueba de Dixon (véanse las notas aquí ).