Calculando la confiabilidad absoluta test-retest

Question

Tengo datos recopilados de los mismos participantes en la misma prueba en tres momentos diferentes. Me gustaría calcular la fiabilidad test-retest absoluta de la medida (no solo la fiabilidad test-retest relativa). Por ejemplo, no me interesa solo la estabilidad del orden de clasificación de las puntuaciones de los participantes a lo largo del tiempo. Me interesa la estabilidad del nivel absoluto de las puntuaciones de los participantes. ¿Qué coeficiente(s) estadístico(s) sería(n) más apropiado(s) para evaluar la fiabilidad test-retest absoluta de estos datos, y cómo puedo estimarlos en R? Preferiblemente, la métrica sería fácilmente interpretable por otros investigadores (por ejemplo, en una escala de 0 a 1). Proporciono un ejemplo de datos a continuación.

Entiendo que la correlación de Pearson es una medida de fiabilidad test-retest relativa y no absoluta. He visto que otros sugieren usar la correlación intraclase (ICC) para la fiabilidad test-retest absoluta, mientras que otros han argumentado que la ICC también es una medida de fiabilidad relativa, y sugieren usar otros índices en su lugar, como el Cambio más pequeño detectable, el Error Estándar de Medida, el Coeficiente de Repetibilidad, Diferencia Real más Pequeña, o Límites de Convenio Bland-Altman como medidas de fiabilidad test-retest absoluta.

Ejemplo de datos:

tiempo1 <- c(0:10)
tiempo2 <- c(1:11)
tiempo3 <- c(1.1, 1, 3.3, 3, 5.5, 5, 7.7, 7, 9.9, 8, 10)

En el ejemplo anterior, la fiabilidad test-retest relativa (basada en la correlación de Pearson) entre T1 y T2 es 1,0. Sin embargo, la fiabilidad test-retest absoluta no debería ser 1. Me gustaría poder calcular la fiabilidad test-retest absoluta incluso cuando hay datos faltantes.

Fuentes:

Bruton, A., Conway, J. H., & Holgate, S. T. (2000). Reliability: What is it, and how is it measured? Physiotherapy, 86, 94-99. doi: 10.1016/S0031-9406(05)61211-4

de Vet, H. C. W., Terwee, C. B., Knol, D. L., & Bouter, L. M. (2006). When to use agreement versus reliability measures. Journal of Clinical Epidemiology, 59, 1033-1039. doi: 10.1016/j.jclinepi.2005.10.015

Šerbetar, I. (2015). Estableciendo algunas medidas de fiabilidad absoluta y relativa de una prueba motriz. Hrvatski casopis za odgoj i obrazovanje, 17, 37-48.

Weir, J. P. (2005). Cuantificación de la fiabilidad test-retest utilizando el coeficiente de correlación intraclase y el SEM. The Journal of Strength & Conditioning Research, 19, 231-240.

Vaz, S., Falkmer, T., Passmore, A. E., Parsons, R., & Andreou, P. (2013). El caso de usar el coeficiente de repetibilidad al calcular la fiabilidad test-retest. PLoS ONE, 8, e73990. doi: 10.1371/journal.pone.0073990

Answer 1

Existen versiones del coeficiente de correlación intraclase (CCI) para acuerdos absolutos y relativos (también conocido como consistencia). Para R, consulta el paquete 'irr' de Matthias Gamer en cran.

library('irr')

time1 <- c(0:10)
time2 <- c(1:11)
times <- cbind(time1,time2)

cci(times,model = "twoway",
    type = "consistencia",
    unidad = "única",
    r0 = 0,
    nivel.conf = 0.95)

#>>CCI=1 para consistencia

cci(times,model = "twoway",
    type = "acuerdo",
    unidad = "única",
    r0 = 0,
    nivel.conf = 0.95)

#>>CCI=0.957 para acuerdo