¿Cómo comparar la eficacia de las técnicas de diagnóstico médico?

Question

Un amigo patólogo me pidió ayuda con la siguiente pregunta para un proyecto de investigación. El objetivo es comparar la eficacia de tres técnicas de diagnóstico diferentes. El conjunto de datos es el siguiente: hay 50 especímenes diferentes, cada espécimen fue evaluado por 4 patólogos, y 3 instrumentos diferentes (es decir, 600 diagnósticos totales). Cada caso tiene un diagnóstico posible de positivo o negativo, y se conocen los resultados verdaderos, ya que se han determinado de forma independiente. La tasa de éxito depende tanto de la calidad del instrumento como de la habilidad del patólogo, y no podemos suponer que los cuatro patólogos tengan la misma competencia. Por último, aunque cada persona haya medido tres veces la misma muestra, pueden tratarse como mediciones independientes.

¿Cuáles son las pruebas adecuadas para comparar la eficacia entre los instrumentos?

Gracias.

AÑADIDO: Mucha y buena información en las respuestas, gracias a ambos. ¿Alguna idea sobre cómo se comparan/contrastan el ROC y el bloque aleatorio?

No sé si lo he digerido lo suficiente como para saber qué método es "mejor". Dado que los resultados deben comunicarse a un público determinado, probablemente dependa de cuál se utilice más entre ese público.

Answer 1

La curva ROC (Receiver Operating Characteristics) es una de las técnicas disponibles. Puede consultar las preguntas con la etiqueta roc en este sitio para obtener más detalles. El artículo de wikipedia http://en.wikipedia.org/wiki/Receiver_operating_characteristic y los enlaces externos a la misma también pueden ser útiles. Algunos otros métodos se pueden encontrar aquí http://onbiostatistics.blogspot.com/2011/01/agreement-statistics-and-kappa.html

Answer 2

Tal y como se describe en el post original, el experimento es un bloque aleatorio.

• El patólogo (4 niveles) es un factor de bloqueo; el experimento se repite dentro de cada patólogo.
• El instrumento (3 niveles) y el resultado verdadero (2 niveles) de la prueba son los dos tratamientos, que supongo que se asignaron al azar.
• Considere que los diferentes especímenes son réplicas de cada combinación de tratamiento.
• La única variable de respuesta es si el diagnóstico del patólogo es correcto (2 niveles).

Como el resultado es categórico, la función de enlace tendrá que ser algo como logit o probit. Aquí hay un código de R que hace eso. Puede ser necesario ampliarlo dependiendo de las hipótesis de su amigo.

library(lme4)
glmer(correctness ~ instrument*trueresult + (1|pathologist),
  family = binomial)

Los coeficientes de un modelo logit pueden interpretarse en relación con las odds ratios. Para una determinada combinación de predictores, el modelo estima un odds ratio. Los coeficientes individuales indican cómo cambia el odds ratio en función de los predictores.

Si a su amigo no le importa distinguir entre el error de tipo I y el de tipo II, puede eliminar del modelo el predictor del resultado verdadero.

library(lme4)
glmer(correctness ~ instrument+trueresult + (1|pathologist),
  family = binomial)

La medición en varias sesiones puede ser un diseño de bloques incompletos, por lo que su amigo debería examinarlos si le preocupa el supuesto de independencia entre las mediciones.