Pruebas de normalidad inconsistentes: Kolmogorov-Smirnov vs Shapiro-Wilk

Question

Actualmente estoy investigando algunos datos que fueron producidos por una simulación de MC que escribí - espero que los valores estén distribuidos normalmente. Naturalmente, hice un histograma y parece razonable (supongo?):

[Arriba a la izquierda: histograma con dist.pdf(), arriba a la derecha: histograma acumulado con dist.cdf(), abajo: gráfico QQ, data vs dist]

Luego decidí investigar más a fondo esto con algunas pruebas estadísticas. (Nota que dist = stats.norm(loc=np.mean(data), scale=np.std(data)).) Lo que hice y los resultados que obtuve fueron los siguientes:

1. Prueba de Kolmogorov-Smirnov:

   scipy.stats.kstest(data, 'norm', args=(data_avg, data_sig))
   KstestResult(statistic=0.050096921447209564, pvalue=0.20206939857573536)

2. Prueba de Shapiro-Wilk:

   scipy.stats.shapiro(dat)
   (0.9810476899147034, 1.3054057490080595e-05)
   # donde el primer valor es la estadística de prueba y el segundo es el valor p.

3. Gráfico QQ:

   stats.probplot(dat, dist=dist)

Mis conclusiones serían:

• al observar el histograma y el histograma acumulado, definitivamente asumiría una distribución normal

• lo mismo se mantiene después de ver el gráfico QQ (¿realmente puede mejorar mucho más?)

• la prueba KS dice: 'sí, esto es una distribución normal'

mi confusión es: la prueba SW dice que no está distribuido normalmente (el valor p es mucho más pequeño que el nivel de significancia alpha=0.05, y la hipótesis inicial era una distribución normal). No entiendo esto, ¿alguien tiene una mejor interpretación? ¿Cometí un error en algún punto?

Answer 1

Hay innumerables formas en que una distribución puede diferir de una distribución normal. Ninguna prueba podría capturar todas ellas. Como resultado, cada prueba difiere en cómo verifica si tu distribución coincide con la normal. Por ejemplo, la prueba KS examina el cuantil donde tu función de distribución acumulada empírica difiere al máximo de la función de distribución acumulada teórica de la normal. A menudo, esto se encuentra en algún lugar en medio de la distribución, que no es donde típicamente nos importan las discrepancias. La prueba SW se centra en las colas, que es donde normalmente sí nos importa si las distribuciones son similares. Como resultado, la preferible suele ser la SW. Además, la prueba KW no es válida si estás utilizando parámetros de distribución que fueron estimados a partir de tu muestra (ver: ¿Cuál es la diferencia entre la prueba de normalidad de Shapiro-Wilk y la prueba de normalidad de Kolmogorov-Smirnov?). Deberías usar la SW aquí.

Pero generalmente se recomiendan los gráficos y no las pruebas (ver: ¿La prueba de normalidad es 'esencialmente inútil'?). Puedes ver en todos tus gráficos que tienes una cola derecha pesada y una cola izquierda ligera en comparación con una verdadera distribución normal. Es decir, tienes un poco de asimetría a la derecha.

Answer 2

No puedes seleccionar pruebas de normalidad basadas en los resultados. En este caso, debes ir con el rechazo en cualquier prueba realizada, o no usarlas en absoluto. La prueba KS no es muy potente, no es una prueba de normalidad "especializada". Si acaso, SW es probablemente más confiable en este caso.

Para mí, tu gráfico QQ tiene signos de tener una cola derecha gruesa o sesgo hacia la izquierda, o ambos. Te sugeriría usar la herramienta de Tukey para estudiar la grosor de las colas. Te dará una indicación de cuánto se parece una distribución a una normal o Cauchy.