¿Hay pruebas estadísticas que comparen las distribuciones cuando se tienen muchas menos observaciones?

Question

He estado investigando diferentes métodos para comparar dos distribuciones para la igualdad, o más bien la desigualdad. Quiero comparar el rendimiento real de los usuarios con el rendimiento proyectado, después de que se haga un "ajuste" particular en una interfaz de usuario. Proyecto el rendimiento utilizando simulaciones. Cada ejecución (ya sea simulada o real) genera un "número" al final para indicar el "rendimiento".

Puedo hacer todas las simulaciones que quiera. Sin embargo, sólo tengo unos pocos usuarios (entre 10-30, dependiendo de cómo se dividan los usuarios) así que pocos puntos de datos (de nuevo, 10-30). Suponiendo que no puedo obtener más datos de los usuarios, la distribución de los datos reales de rendimiento de los usuarios está representada por un pequeño número de puntos de datos.

Conozco la asimetría, la curtosis y la prueba de Kolmogorov-Smirnov, pero ¿son suficientes para comprobar la igualdad, incluso con datos de tan baja resolución? Si no, ¿hay otras pruebas existentes para las distribuciones con pocas muestras? ¿O muestras distribuidas desigualmente?

Answer 1

Las distribuciones no van a ser idénticas (pero con muestras pequeñas es muy posible que no se pueda distinguir que son diferentes). Sospecho que una prueba de bondad de ajuste no responde realmente a la pregunta de interés (¿realmente importa si son muy, muy ligeramente diferentes, por ejemplo, por pequeña que sea esa diferencia?)

Con pocos puntos de datos, probablemente necesites concentrarte en conseguir toda la potencia que puedas. Esto implicará identificar cuidadosamente las alternativas de interés e identificar una prueba con buena potencia contra ese tipo de alternativas.

Si se pueden obtener muchos valores para la distribución simulada (suficientes para tratarla como una población efectiva), tal vez se podría considerar un test de Anderson-Darling o un Cramer-von Mises; si uno de estos tiene mejor potencia que un Kolmogorov-Smirnov depende de las alternativas contra las que esté más interesado en la potencia. Si puedes identificar alternativas más específicas, deberías ser capaz de hacerlo mejor que cualquiera de ellas.

Answer 2

Obtendría la distribución CDF de las simulaciones, y luego la usaría como teórica en la prueba de KS, una muestra. En este caso el tamaño real de los datos será el tamaño de su muestra es la prueba de KS.