Prueba de diferencia entre 2 distribuciones discretas empíricas

Question

Tengo datos de prueba donde tengo varias muestras grandes de distribuciones discretas que estoy usando como distribuciones empíricas. Quiero comprobar si las distribuciones son realmente diferentes y cuál es la diferencia en las medias de las distribuciones que son realmente diferentes.

Dado que se trata de distribuciones discretas, entiendo que la prueba de Kolmogorov-Smirnov no es válida debido al supuesto de distribución continua subyacente. ¿Sería la prueba de Chi-cuadrado la correcta para determinar si las distribuciones son realmente diferentes?

¿Qué prueba utilizaría para la diferencia de medias? ¿Sería mejor tomar una muestra de las distribuciones, obtener la diferencia y realizar un análisis de la distribución de la diferencia?

Answer 1

1. El Kolmogorov-Smirnov todavía se puede utilizar, pero si utiliza los valores críticos tabulados será conservador (que es sólo un problema porque empuja hacia abajo su curva de potencia). Es mejor obtener la distribución de permutación de la estadística, para que los niveles de significación sean los que usted elija. Esto sólo supondrá una gran diferencia si hay muchos empates. Este cambio es realmente fácil de aplicar. (Pero la prueba K-S no es la única comparación de este tipo posible; si uno está calculando distribuciones de permutación de todos modos, hay otras posibilidades).

2. Las pruebas de bondad de ajuste de Chi-cuadrado de vainilla para datos discretos suelen ser, en mi opinión, una muy mala idea. Si la pérdida potencial de potencia mencionada anteriormente le impidió utilizar la prueba K-S, el problema con la prueba ji-cuadrado es a menudo mucho peor: desecha la información más crítica, que es el orden entre las categorías (los valores de observación), desinflando su potencia al repartirla entre alternativas que no tienen en cuenta el orden, de modo que es peor para detectar alternativas suaves (como un cambio de ubicación y escala, por ejemplo). Incluso con los efectos negativos de los fuertes empates anteriores, la prueba KS en muchos casos sigue teniendo mejor potencia (a la vez que reduce la tasa de error de tipo I).

El chi-cuadrado también puede modificarse para tener en cuenta el orden (dividir el chi-cuadrado en componentes lineales, cuadráticos, cúbicos, etc. mediante polinomios ortogonales y utilizar sólo los pocos términos de orden inferior - 4 a 6 son opciones comunes). Los artículos de Rayner y Best (y otros) analizan este enfoque, que surge de las pruebas suaves de Neyman-Barton. Es un buen método, pero si no tiene acceso a un programa informático para utilizarlo, puede que le cueste un poco configurarlo.

Cualquiera de los enfoques modificados debería estar bien, pero si no vas a modificar ninguno de los enfoques, no es necesariamente el caso que el chi-cuadrado será mejor que la prueba KS -- en algunas situaciones es puede ser mejor... o puede ser sustancialmente peor.

Si los empates son leves (es decir, hay muchos valores diferentes tomados por los datos), consideraría la KS tal cual. Si son moderados, intentaría calcular la distribución de permutación. Si son muy fuertes (es decir, los datos sólo toman unos pocos valores diferentes), la chi-cuadrado simple puede ser competitiva.