La comparación de test-retest fiabilidad

Question

Imagine que tiene una prueba para una enfermedad que devuelve un resultado positivo o negativo. Me administrar la prueba a un grupo de dos veces en una sola sesión; en otro grupo, me administrar dos veces con dos semanas de separación de las pruebas. La hipótesis es que las pruebas se toman al mismo tiempo serán más consistentes unos con otros de las pruebas tomadas de dos semanas de diferencia. ¿Cómo puedo probar esto?

Pregunta extra: ¿y si los dos grupos consistió la misma gente?

Answer 1

Ambas situaciones son casos específicos de test-retest, a excepción de que el período recordatorio es nulo en el primer caso descrito. Yo también esperaría un acuerdo más amplio en el caso anterior, pero que pueden ser confundidos con un aprendizaje o la memoria. Una oportunidad-corregido medida de acuerdo, como el índice de kappa de Cohen, se puede utilizar con variables binarias, y bootstraped intervalos de confianza podría ser comparado en las dos situaciones (esto es mejor que el uso de $\kappa$ de la varianza muestral directamente). Esto debería dar una indicación de la fiabilidad de las medidas, o en este caso de diagnóstico de acuerdo, en las dos ocasiones. Una prueba de McNemar que las pruebas de homogeneidad marginal en pares también puede ser utilizado.

Un enfoque basado en la correlación intraclase todavía es válida, siempre que su prevalencia no es extrema, debe estar cerrada para

• una simple correlación de Pearson (que, para los datos binarios, es también llamado phi coeficiente) o el tetracóricas versión sugerida por @Skrikant,
• el mencionado kappa (para una muestra de gran tamaño, y suponiendo que las distribuciones marginales para el caso de que en las dos ocasiones son los mismos, $\kappa\approx\text{ICC}$ a partir de un ANOVA de una vía).

Sobre tu pregunta de la prima, por lo general necesita 3 puntos en el tiempo para separar la falta de (temporal) estabilidad-de lo que puede ocurrir si la clase latente o rasgo de su medición evolucionar a lo largo del tiempo, desde la falta de fiabilidad (véase para una ilustración del modelo propuesto por Wiley y Wiley, 1970, American Sociological Review 35).