¿Por qué KS prueba dará resultado significativo?

Question

Tengo dos muestras donde yo quiero saber si sus distribuciones son significativamente diferentes. He realizado un test de Kolmogorov-Smirnov y la prueba de que se rechazó la hipótesis nula (D=0.0983, p=2.14 e-11) que me lleva a creer que las muestras de hecho vienen de diferentes distribuciones. El problema es, ¿cómo puedo determinar lo que es significativamente diferente acerca de estas muestras? Son las distribuciones diferentes en el medio? sesgar? algo más? El examen de los histogramas con cada uno de los otros no dan ninguna indicación inmediata de la diferencia. Seguro, el rojo de la muestra tiene un poco menor que los valores de los azules de la muestra, pero es que lo que causó el KS prueba sea significativa? ¿Cómo puedo saber cuál es la causa de la KS de la prueba de hipótesis nula a fallar?

Tamaño de la muestra de rojo = 1306 Tamaño de la muestra de azul = 646,513

Answer 1

La K-S es un omnibus de la prueba. No identificar la forma de la diferencia.

Usted puede identificar el lugar o los lugares donde la diferencia de ECDF es más grande pero que no siempre se dice mucho.

Usted puede ver los tipos de cambio en la ECDF. He aquí algunos ejemplos:

Si usted mira la ECDFs en tu post, se puede ver el azul del cdf es menor que el rojo en casi todo el rango (lo que implica que los valores de azul son normalmente más grandes*), aunque la forma es muy similar.

* También se puede ver que en el histograma donde el rosa es mayor en el extremo izquierdo de la barra, pero los últimos 300 las barras azules suelen ser un poco más alto.

Así que de todos modos, eso es como yo describiría la principal diferencia en las distribuciones (algo similar en forma general, pero los valores en el azul categoría tienden a ser un poco más grande en promedio). Yo no la caracterizan como un cambio de ubicación o de una escala de cambio.

Una cosa que me preocupa es que la distribución se ve bastante discretos. Si es así, el valor p de la prueba de Kolmogorov-Smirnov no es especialmente significativa.

¿Cuál es tu tamaño de la muestra?

Answer 2

Hasta donde yo sé, el (dos muestras) K-S de la prueba no es de gran ayuda en la que le dice cómo los dos distribuciones diferentes, puesto que se compara tanto la ubicación y la forma. Si usted piensa que la diferencia radica en la ubicación, ejecutar un test de Mann-Whitney. Si usted piensa que se encuentra en forma...eso es más complicado. Algunas personas calcular el coeficiente de GINI para comparar la asimetría. Otros recomiendan la ejecución medios, para que pueda obtener (decir) 10,000 asimetría y la curtosis de las puntuaciones por ejemplo, y entonces usted puede simplemente ejecutar una prueba de t para comparar. Este siempre me ha parecido un poco extraño para mí, sin embargo.