Interpretación de la W de Kendall (KendallW de descTools) con respecto a valoraciones muy similares

Question

Tengo 3 calificadores que han calificado a 9 sujetos. Se han realizado pruebas similares con diferentes calificadores y diferentes temas, y necesito comparar en qué medida los diferentes calificadores han coincidido en sus respectivos temas. He elegido la W de Kendall porque estoy utilizando datos ordinales (1 = no estoy de acuerdo en absoluto, 5 = estoy completamente de acuerdo). Ahora, me resulta muy difícil entender por qué los resultados se ven así cuando los comparo con los diagramas de violín que he creado de las calificaciones.

library("DescTools")
rtr1 <- c(5,5,5,5,5,5,4,5,5)
rtr2 <- c(5,5,5,5,5,5,5,5,5)
rtr3 <- c(3,3,3,4,4,4,4,4,4)
ratings <- cbind(rtr1, rtr2, rtr3)
KendallW(ratings, test=TRUE, correct=TRUE)

Paket ‘DescTools’ wurde unter R Version 3.4.1 erstellt
    Kendall's coefficient of concordance Wt

data:  ratings
Kendall chi-squared = 6.1538, df = 8, subjects = 9, raters = 3, p-value = 0.63
alternative hypothesis: Wt is greater 0
sample estimates:
       Wt 
0.2564103 

Sin embargo, en el diagrama del violín, las clasificaciones están muy cerca unas de otras.

Ahora, cuando miro otro conjunto, las clasificaciones parecen estar menos cerca unas de otras:

rtr1 <- c(3,4,5,3,3,5,3,2,5)
rtr2 <- c(1,3,2,1,3,2,1,1,1)
rtr3 <- c(3,2,3,3,3,3,2,2,2)

Sin embargo, en este caso W es 0,4064815. En otras palabras, hay más acuerdo en las valoraciones. ¿Cómo puede ser este el caso dados los datos? ¿Es la W de Kendall una buena opción en este caso, dado que las valoraciones no están clasificadas?

Answer 1

Los gráficos del violín no te darán una imagen completa de lo que está viendo la W de Kendall. Según tengo entendido, la concordancia entre calificadores tiene que ver con sus calificaciones de cada tema en relación con sus puntuaciones para otros temas.

Por ejemplo, los siguientes datos arrojan una estadística W de 1. Todos los calificadores califican los tres primeros temas como los más bajos, los tres siguientes como los medios y los tres últimos como los más altos.

library("DescTools")
rtr1 <- c(1,1,1,2,2,2,3,3,3)
rtr2 <- c(2,2,2,3,3,3,4,4,4)
rtr3 <- c(3,3,3,4,4,4,5,5,5)
ratings <- cbind(rtr1, rtr2, rtr3)
KendallW(ratings, test=TRUE, correct=TRUE)

# W = 1

En el siguiente ejemplo, los calificadores 1 y 3 son concordantes, y el calificador 2 no lo es, lo que arroja una W de 0,67

library("DescTools")
rtr1 <- c(1,1,1,2,2,2,3,3,3)
rtr2 <- c(3,3,3,3,3,3,3,3,3)
rtr3 <- c(3,3,3,4,4,4,5,5,5)
ratings <- cbind(rtr1, rtr2, rtr3)
KendallW(ratings, test=TRUE, correct=TRUE)

# W = 0.67

En el siguiente ejemplo, los Calificadores 1 y 2 son totalmente discordantes, y el Calificador 3, con todos los empates, no cambia esta discordancia, dando una W de 0.

library("DescTools")
rtr1 <- c(1,1,1,3,3,3,5,5,5)
rtr2 <- c(3,3,3,2,2,2,1,1,1)
rtr3 <- c(3,3,3,3,3,3,3,3,3)
ratings <- cbind(rtr1, rtr2, rtr3)
KendallW(ratings, test=TRUE, correct=TRUE)

# W = 0