Permítame comenzar con su ingenua estimación de la importancia. Dieciséis ( $o=16$ ) sobre un fondo esperado de $b=4.2\pm1.6$ . Supongo que ha calculado que $$ \frac{o - b}{\delta b} \simeq 7.4, $$ concluyendo que el exceso tiene una importancia de $7.4\sigma$ . Hay dos errores principales en esta interpretación de los datos y del cálculo.
En primer lugar, en la hipótesis de sólo fondo, esperamos que el número de eventos observados, $o$ para que se distribuya como Poisson con la expectativa $b$ . El error $\delta b=1.6$ es la incertidumbre sobre la expectativa de una distribución de Poisson; no es la desviación estándar del número de eventos observados. Nótese, sin embargo, que como el fondo se estima a partir de un experimento de recuento subsidiario, $\delta b$ contiene un componente sistemático y estadístico.
En segundo lugar, no conocemos las distribuciones. Incluso si se sabe que un resultado fue $7.4$ desviaciones estándar lejos de lo que esperábamos, no se podía averiguar la importancia del exceso. Las desviaciones estándar sólo especifican un contenido de probabilidad si se especifica una distribución concreta. No se conoce la distribución, y si se quiere conocer la probabilidad en la cola de una distribución, como se hace con las significaciones, hay que tener cuidado.
En resumen, ATLAS no parece estar haciendo las cosas dos veces o alterando su procedimiento estadístico a la luz del gran exceso. Están calculando la significación una vez de la forma habitual mediante Monte Carlo, teniendo en cuenta la información completa sobre las incertidumbres y sus distribuciones, y la naturaleza poissoniana inherente a su experimento de recuento.
Este es un problema estadístico clásico que se da en física, a veces denominado "problema de encendido/apagado". Si se apunta un detector a una fuente ("on") y se mide una tasa, y luego se apunta el detector lejos de esa fuente ("off"), ¿cómo se hace una inferencia estadística sobre el efecto de la fuente? Véase Cousins y otros para un debate.
Un tercer punto, $S^{95}$ indicar $95\%$ límites máximos de las cantidades, en lugar de las cantidades mismas. Yo no intentaría estimar la significación a partir de estas cantidades (de nuevo, no se conocen las distribuciones, etc.), pero no es tan sorprendente que se acerque al resultado del cálculo completo. El error en el cálculo esperado $S^{95}$ es $95\%$ cobertura en repetidos pseudoexperimentos - incluyendo los errores en los fondos y la naturaleza poissoniana de los mismos.