Diferencia entre la prueba de ANOVA y la de Kruskal-Wallis

Question

Estoy aprendiendo R y he estado experimentando con el análisis de la varianza. He estado ejecutando ambos

kruskal.test(depVar ~ indepVar, data=df)

y

anova(lm(depVar ~ indepVar, data=dF))

¿Hay alguna diferencia práctica entre estas dos pruebas? Entiendo que ambas evalúan la hipótesis nula de que las poblaciones tienen la misma media. Gracias de antemano

Answer 1

Hay diferencias en los supuestos y las hipótesis que se ponen a prueba.

El ANOVA (y la prueba t) es explícitamente una prueba de igualdad de medias de valores. El Kruskal-Wallis (y el Mann-Whitney) puede considerarse técnicamente como una comparación de la media rangos .

Por lo tanto, en términos de valores originales, el Kruskal-Wallis es más general que una comparación de medias: comprueba si la probabilidad de que una observación aleatoria de cada grupo esté igualmente por encima o por debajo de una observación aleatoria de otro grupo. La cantidad de datos real que subyace a esa comparación no es ni la diferencia de medias ni la diferencia de medianas, (en el caso de dos muestras) es en realidad la mediana de todas las diferencias por pares - la diferencia entre muestras de Hodges-Lehmann.

Sin embargo, si se opta por hacer algunas suposiciones restrictivas, entonces Kruskal-Wallis puede considerarse como una prueba de igualdad de las medias de la población, así como de los cuantiles (por ejemplo, las medianas) y, de hecho, de una amplia variedad de otras medidas. Es decir, si se asume que las distribuciones de grupo bajo la hipótesis nula son las mismas, y que bajo la alternativa, el único cambio es una distribución turno (un llamado " alternativa al cambio de ubicación "), entonces también es una prueba de igualdad de las medias de la población (y, simultáneamente, de las medianas, cuartiles inferiores, etc.).

Si hace esa suposición, puede obtener estimaciones e intervalos para los cambios relativos, al igual que con el ANOVA. Bueno, también es posible obtener intervalos sin ese supuesto, pero son más difíciles de interpretar].

Si miras la respuesta aquí En este artículo, especialmente hacia el final, se discute la comparación entre la prueba t y la de Wilcoxon-Mann-Whitney, que (cuando se hacen pruebas de dos colas al menos) son el equivalente* de ANOVA y Kruskal-Wallis aplicados a una comparación de sólo dos muestras; da un poco más de detalle, y gran parte de esa discusión se traslada a la de Kruskal-Wallis vs ANOVA.

* (aparte de un problema particular que surge con las comparaciones multigrupo en las que puede haber diferencias no transitivas entre pares)

No está del todo claro a qué te refieres con una diferencia práctica. En general, los utilizas de forma similar. Cuando se aplican ambos conjuntos de supuestos, suelen dar resultados bastante similares, pero ciertamente pueden dar valores p bastante diferentes en algunas situaciones.

Edición: He aquí un ejemplo de la similitud de la inferencia incluso con muestras pequeñas -- aquí está la región de aceptación conjunta para los cambios de ubicación entre tres grupos (el segundo y el tercero cada uno comparado con el primero) muestreados a partir de distribuciones normales (con tamaños de muestra pequeños) para un conjunto de datos particular, al nivel del 5%:

Pueden distinguirse numerosas características interesantes: en este caso, la región de aceptación del KW es ligeramente mayor, y su límite está formado por segmentos de líneas rectas verticales, horizontales y diagonales (no es difícil averiguar por qué). Las dos regiones nos dicen cosas muy parecidas sobre los parámetros que nos interesan.

Answer 2

Sí, lo hay. El anova es un enfoque paramétrico mientras que kruskal.test es un enfoque no paramétrico. Así que kruskal.test no necesita ningún supuesto de distribución.
Desde el punto de vista práctico, cuando los datos están sesgados, entonces anova no sería un buen enfoque a utilizar. Echa un vistazo a esta pregunta por ejemplo.

Answer 3

Por lo que sé (pero por favor, corregidme si me equivoco porque no estoy seguro), el test de Kruskal-Wallis se construye para detectar una diferencia entre dos distribuciones que tienen la misma forma y la misma dispersión, es decir, una se obtiene trasladando la otra por una diferencia $\Delta$ como por ejemplo:

Llamemos a $(*)$ esta suposición. La prueba KW pone a prueba la hipótesis nula $H_0\colon\{\Delta=0\}$ vs $H_1\colon\{\Delta \neq 0\}$ . Sin embargo, la prueba de KW es "válida" sin suposición $(*)$ su nivel de significación (probabilidad de rechazar $H_0$ en $H_0)$ es válido porque $(*)$ se cumple obviamente bajo $H_0\colon\{\text{the distributions are equal}\}$ .

Pero la prueba KW es "ineficiente" si $(*)$ no se sostiene: sólo pretende tener un buen poder para detectar $\Delta >0$ y entonces el estadístico de prueba no es apropiado para reflejar la diferencia entre las dos distribuciones si no hay tal $\Delta$ .

Considere el siguiente ejemplo. Dos muestras $x$ y $y$ de tamaño $n=1000$ se generan a partir de dos distribuciones bastante diferentes pero que tienen la misma media. Entonces KW no rechaza $H_0$ .

set.seed(666)
n <- 1000
x <- rnorm(n)
y <- (2*rbinom(n,1,1/2)-1)*rnorm(n,3)
plot(density(x, from=min(y), to=max(y)))
lines(density(y), col="blue")

> kruskal.test(list(x,y))

    Kruskal-Wallis rank sum test

data:  list(x, y)
Kruskal-Wallis chi-squared = 2.482, df = 1, p-value = 0.1152

Como dije al principio, no estoy seguro de la construcción precisa de KW. Quizá mi respuesta sea más correcta para otra prueba no paramétrica (Mann-Whitney ), pero el enfoque debería ser similar.

Answer 4

Kruskal-Wallis se basa en el rango, en lugar de en el valor. Esto puede suponer una gran diferencia si hay distribuciones sesgadas o si hay casos extremos