Acuerdo entre evaluadores para la escala Likert

Question

¿Cuál es la mejor prueba de concordancia entre evaluadores para las preguntas de tipo escala Likert? Por lo que veo, la prueba de Cronbach $\alpha$ es para la consistencia interna, o sea, muestra la relación de los ítems para describir la pregunta principal. Quiero medir la concordancia entre evaluadores. ¿El coeficiente de Cronbach $\alpha$ la métrica correcta para hacerlo?

Answer 1

El alfa de Krippendorff, desarrollado originalmente en el campo del análisis de contenido, es muy adecuado para tratar con calificaciones ordinales como las de la escala Likert. Tiene varias ventajas sobre otras medidas como el Kappa de Cohen, el Kappa de Fleiss o el alfa de Cronbach: es capaz de tratar con más de dos calificadores; es robusto a los datos perdidos; y puede manejar diferentes tipos de escalas: nominal, ordinal, etc.

También tiene en cuenta los acuerdos fortuitos mejor que otras medidas como el Kappa de Cohen.

El cálculo del alfa de Krippendorff está soportado por varios paquetes de software estadístico, incluyendo R (por el irr ), SPSS, etc.

A continuación se presentan algunos artículos relevantes, que discuten el alfa de Krippendorff incluyendo sus propiedades y su implementación, y lo comparan con otras medidas:

1. Hayes, A. F., y Krippendorff, K. (2007). Respondiendo a la petición de una medida de fiabilidad estándar para la codificación de datos. Métodos y medidas de comunicación , 1 (1), 77-89.

2. Krippendorff, K. (2004). Fiabilidad en el análisis de contenido: Algunos errores comunes y recomendaciones. Investigación sobre la comunicación humana , 30 (3), 411-433. doi: 10.1111/j.1468-2958.2004.tb00738.x

3. Capítulo 3 en Krippendorff, K. (2013). Análisis de contenido: Una introducción a su metodología (3ª ed.) : Sage.

Hay algunos documentos técnicos adicionales en la obra de Krippendorff sitio web .