Mann-Whitney (2 grupos) contradicho por Kruskal-Wallis (3 grupos)

Question

Tenemos dos grupos que son significativamente diferentes (probado con Mann-Whitney). Cuando se agrega un tercer grupo, las pruebas de Kruskal-Wallis proporcionan un resultado no significativo.

Esto implica que dos o más grupos no eran significativamente diferentes entre sí; por lo tanto, el resultado no significativo.

o

¿Esto implica que no tenemos suficiente poder para detectar ningún efecto (error tipo 1) y que es probable que el tercer grupo no sea diferente de los otros dos grupos? Por lo tanto, el resultado es inconcluso.

Answer 1

Una posibilidad es que la tercera muestra introduzca variabilidad adicional o viole supuestos para la prueba de Kruskal-Wallis, por lo que no puede encontrar diferencias entre las tres muestras. Aquí hay un ejemplo (usando R):

# generar y mostrar datos falsos
set.seed(1234)  # para reproducibilidad 
x1 = runif(5, 1, 4);  x2 = rnorm(5, 1, 1);  x3 = rnorm(5, 1, 5)
x123 = c(x1, x2, x3);  g123 = rep(1:3, each=5)
x12 = c(x1, x2);  g12 = rep(1:2, each=5)
stripchart(x123 ~ g123, pch="|", ylim=c(.5,3.5))

La prueba de la suma de rangos de Mann-Whitney-Wilcoxon y la prueba de Kruskal-Wallis encuentran una diferencia significativa entre x1 y x2 al nivel del 5%, con valores de P alrededor del 3%:

wilcox.test(x12 ~ g12)

        Prueba de la suma de rangos de Wilcoxon

data:  x12 por g12
W = 23, valor P = 0.03175
hipótesis alternativa: la verdadera diferencia de ubicación no es igual a 0

kruskal.test(x12 ~ g12)

        Prueba de la suma de rangos de Kruskal-Wallis

datos:  x12 por g12
Chi-cuadrado de Kruskal-Wallis = 4.8109, df = 1, valor P = 0.02828

Sin embargo, la prueba de Kruskal-Wallis no encuentra diferencias significativas entre x1, x2, y x3 al nivel del 5%:

kruskal.test(x123 ~ g123)

        Prueba de la suma de rangos de Kruskal-Wallis

datos:  x123 por g123
Chi-cuadrado de Kruskal-Wallis = 5.58, df = 2, valor P = 0.06142

Answer 2

Puede que quieras revisar esta publicación sobre CV ¿K-W como prueba de superioridad estocástica?
Informa de una situación similar; comienza con 2 grupos que son significativamente diferentes con una prueba K-W de 2 muestras. Agrega un tercer grupo y entonces la prueba K-W se vuelve no significativa... La razón es la no transitividad de la propiedad de superioridad estocástica: Uno puede tener A>B, y B>C, pero C>A (lee ">" como "es estocásticamente superior", lo que significa $P(X_A)>P(X_B)>.5$ (una muestra aleatoria de A será mayor que una muestra aleatoria de B más del 50% del tiempo). Sí, una situación de piedra/papel/tijeras.
Cuando un conjunto no transitable de muestras se introduce en la prueba K-W, pierde poder estadístico (a veces hasta un punto extremo). También puedes leer este artículo "Kruskal–Wallis, Multiple Comparisons and Efron Dice", de Bruce M. Brown y Thomas P. Hettmansperger https://api.semanticscholar.org/CorpusID:55698326 que lo explica muy bien... Esto se puede entender intuitivamente al observar que la prueba K-W realiza una especie de prueba F (razón de términos cuadráticos basados en rangos). Pero el denominador agrupa todas las muestras en 1 (residuos, por así decirlo), y pierde toda la información sobre a qué grupo pertenecen; por lo tanto, con superioridades no transitivas, ese agrupamiento pierde la diferencia.

El ejemplo en la respuesta anterior realmente demuestra esto. La muestra 1 es significativamente superior a la muestra 2 (1 "vence" a 2 23 de 25 veces). 2 también es superior a 3, pero no al nivel de significancia de 0.05 (2 vence a 3 solo 20 de 25 veces, por lo que el valor p es solo .1). Para una transitividad estricta, se esperaría que 1 "venciera a 3" aún más que 1 "venciera" a 2. Pero 1 "vence" a 3 solo 20 veces de 25. Es superior, pero ya no de manera significativa. Esa tercera muestra no es estrictamente transitable. Por lo tanto, la prueba K-W pierde poder... Por lo tanto, la diferencia que era evidente solo con las primeras 2 muestras, desaparece con la tercera...

En resumen, K-W funciona solo con relaciones estrictamente transitivas entre los grupos. De lo contrario, pierde poder.

Nota que esto no tiene nada que ver con violar los supuestos de K-W (no hay ninguno, a menos que quieras interpretarlo como una prueba en las medianas, lo cual no es cierto), o introducir variabilidad extra (lo que no hace; de hecho, el tercer grupo enmascara la variabilidad que existía con 2 grupos).