Compromiso entre pruebas estadísticas

Question

Estaba leyendo sobre el test KS y me surgió una duda ¿por qué no está bien comprobar con este test cuando hay una diferencia estadísticamente significativa entre las dos muestras?

1. Muestra 1, tomada de t=1 a 100 y
2. Muestra 2, tomada de T=51 a 150

Me cuesta razonar sobre esto. Cualquier ayuda será muy apreciada.

Answer 1

Una descripción más completa de sus datos y objetivos sería para una discusión completa de su pregunta. (Más arriba, @RichardHardy ha mencionado que sus muestras parecen solaparse. En un comentario sobre esta respuesta, @whuber ha mencionado que no se puede asumir la independencia entre las observaciones de una serie temporal. Tendrías que abordar ambas cuestiones).

Sin embargo, incluso en muchas situaciones con muestras aleatorias disjuntas e independientes, yo utilizaría la prueba de Kolmogorov-Smirnov de 2 muestras sólo si no se dispone de otras pruebas apropiadas apropiadas.

En particular, yo no utilizaría una prueba de Kolmogorov-Smirnov con preferencia a una prueba t de Welch para buscar una diferencia de medias. En muchas situaciones, la prueba K-S es demasiado reacia a declarar diferencias entre dos muestras normales.

Diferencias de medias, nivel de significación: Por ejemplo, si tengo muestras aleatorias independientes de tamaños 100 y 50 de la misma normal normal, la prueba K-S rechaza una prueba al nivel nominal del 5 4% de las veces. Por el contrario, una prueba t de Welch de dos muestras rechaza casi el 5% de las veces. En las simulaciones siguientes con 100.000 pruebas de cada tipo, cabe esperar una precisión de aproximadamente dos lugares para las probabilidades de rechazo.

set.seed(2021)
pv.ks = replicate(10^5, ks.test(rnorm(100),rnorm(50))$p.val)
mean(pv.ks <= .05)
[1] 0.04117
pv.wt = replicate(10^5, t.test(rnorm(100),rnorm(50))$p.val) 
mean(pv.wt <= .05)
[1] 0.04931

Diferencias de medios, de poder. Peor aún, para los mismos tamaños de muestra que antes, la prueba K-S sólo tiene una potencia del 67% para detectar una diferencia entre el muestreo de $\mathsf{Norm}(0,1)$ para la muestra mayor y de $\mathsf{Norm}(.5,1)$ para la muestra más pequeña. En cambio, la prueba t de Welch tiene una potencia de aproximadamente el 81% para la misma tarea.

set.seed(207)
pv.ks = replicate(10^5, ks.test(rnorm(100),rnorm(50,.5,1))$p.val)
mean(pv.ks <= .05)
[1] 0.66591
pv.wt = replicate(10^5, t.test(rnorm(100),rnorm(50,.5,1))$p.val) 
mean(pv.wt <= .05)
[1] 0.81416

Diferencia de varianzas, potencia. Si estamos ante dos muestras normales de tamaño 20 para detectar un diferencia entre varianzas $\sigma^2=1$ y $\sigma^2=4.$ y luego la prueba F habitual, implementada en R como var.test --difícilmente conocido por su buen poder--encuentra una diferencia con una probabilidad en torno al 84%, pero la prueba K-S es mucho peor, con una potencia inferior al 12%.

set.seed(1234)
pv.ks = replicate(10^5, ks.test(rnorm(20),rnorm(20,0,2))$p.val)
mean(pv.ks <= .05)
[1] 0.11434
pv.f = replicate(10^5, var.test(rnorm(20),rnorm(20,0,2))$p.val) 
mean(pv.f <= .05)
[1] 0.83552