Confiabilidad interevaluador para datos de razón

Question

¿Qué método de inter evaluador es más adecuado para datos medidos en escala intervalo? Tengo datos que están medidos en porcentajes. por ejemplo

Evaluador 1

A: 50% B: 20% C: 11% D: 9% E: 10%

Evaluador 2

A: 50% B: 20% C: 10% D: 10% E: 10%

Tengo dos evaluadores que califican cuánto A B C D E.... se tienen en cuenta en un estudio. En el ejemplo anterior, hay pequeños desacuerdos en C y D entre los dos evaluadores. Entiendo que las diferencias son pequeñas y quiero demostrar que los dos evaluadores tienen un acuerdo estadísticamente significativo (o, en otro caso, sus puntuaciones son tan diferentes que es estadísticamente diferente)

En el estudio, cada evaluador está calificando 30 categorías, por lo que puede haber decimales o incluso redondeo para los números de porcentaje.

Answer 1

La forma más sencilla sería utilizar el coeficiente de correlación intraclase (ICC) para cada categoría. Alternativamente, puedes utilizar cualquier índice de acuerdo ajustado por casualidad (por ejemplo, puntaje S, coeficiente kappa o coeficiente pi) con pesos intervalares o proporcionales para cada categoría, como se describe en mi sitio web. Sin embargo, te recomendaría que no te bases en pruebas de hipótesis nula para esto. En lugar de demostrar que los evaluadores tienen significativamente más de 0.0 de acuerdo (lo cual es obvio y poco útil), sería mejor cuantificar el grado de su acuerdo y proporcionar un intervalo de confianza para esta estimación.