Error de repetibilidad y medición de y entre observadores

Question

Tengo 3 observadores que cada uno tome 2 mediciones (longitud y peso) en 100 individuos; estos procedimientos se repiten una vez (es decir, las mismas medidas se toman en el mismo 100 individuos por el mismo 3 observadores), de modo que el conjunto de datos duplicados (es decir, la lectura temprana y tardía de la lectura).

1. ¿Cuál es la mejor manera de averiguar la forma en que cada individuo del observador de las mediciones varían entre finales y principios de prueba de las mediciones?
2. Cómo puedo comparar qué tan cerca o diferentes a las mediciones de longitud (o peso) difieren entre los 3 observadores?

Answer 1

Lo que usted describe es un estudio de confiabilidad donde cada tema va a ser evaluados por las mismas tres evaluadores en dos ocasiones. El análisis se puede hacer por separado en los dos resultados (longitud y peso, aunque supongo que van a estar altamente correlacionados y no se interesa en cómo esta correlación se refleja en los evaluadores la evaluación). La estimación de la fiabilidad de la medición puede realizarse de dos maneras:

• El enfoque original (como se describe en Fleiss, 1987) se basa en el análisis de los componentes de varianza a través de una tabla ANOVA, donde suponemos que no hay sujeto por el evaluador de la interacción (la correspondiente SS está restringido a 0) -- por supuesto, no mirar a $p$-valores, pero en el MSs correspondiente a los efectos que correspondan;
• Un modelo de efectos mixtos permite derivar estimaciones de la variación, considerando el tiempo como un efecto fijo y sujeto y/o evaluador como efecto aleatorio(s) (la última distinción depende de si usted considera que sus tres observadores fueron tomadas o muestras de un grupo de posibles evaluadores o no, si el evaluador efecto es pequeño, los dos análisis va a dar el mismo cálculo para el resultado de la fiabilidad).

En ambos casos, usted será capaz de obtener un único coeficiente de correlación intraclase, que es una medida de la fiabilidad de las evaluaciones (en virtud de la Generalización de la Teoría, íbamos a llamar a la posibilidad de generalizar los coeficientes), que iba a responder a su segunda pregunta. La primera pregunta que se aborda con un potencial efecto del tiempo (que se considera como un efecto fijo), de los cuales hablé aquí, la Fiabilidad en la Obtención de Ejercicio. Más detalles se pueden encontrar en Dunn (1989) o Brennan (2001).

Tengo un R script de ejemplo en Github que ilustra ambos enfoques. Creo que no sería demasiado difícil para incorporar evaluador efectos en el modelo.

Referencias

1. Fleiss, J. L. (1987). El diseño y análisis de experimentos clínicos. Nueva York: Wiley.
2. Dunn, G. (1989). Diseño y análisis de estudios de fiabilidad. Oxford
3. Brennan, R. L. (2001). La Generalización De La Teoría. Springer

Answer 2

Es necesario repetir el mismo proceso por separado para la longitud y el peso, ya que estos son completamente independientes de los resultados de las distintas unidades y métodos de medición.

Me gustaría empezar, como tan a menudo, por el trazado de algunos exploratorio de los gráficos. En este caso un conjunto de Bland–Altman (diffference vs promedio) gráficos, uno para cada observador. Si las parcelas para cada observador aspecto similar, me gustaría hacer un combinado de la parcela. Busco patrones en estas parcelas, por ejemplo, la variabilidad en la diferencia permanecer razonablemente constante con el medio? (si no, yo podría considerar una varianza de estabilización de la transformación). Para cada observador me gustaría, a continuación, calcular la diferencia de medias entre principios y finales de las lecturas, para cuantificar si hay una diferencia sistemática, y la desviación estándar de la diferencia como una forma de cuantificar la cantidad de cada uno de los observadores de las medidas varían entre finales y principios de lecturas. Yo podría entonces llevar a cabo una formales de la prueba estadística para la igualdad de las varianzas de las diferencias, tales como los de Brown–Forsythe prueba. Si no hay una fuerte evidencia de que las varianzas difieren sustancialmente entre los observadores, me gustaría pasar a ANOVA como veo que ha sido descrito por chl.