¿Cómo puedo determinar qué conjunto de medidas es mejor?

Question

Estoy midiendo la proteína en los seres humanos utilizando dos tipos diferentes de técnicas de medición, X e Y (medido en diferentes escalas). Tengo dos réplicas para el tipo X y cuatro para el tipo Y. Hago la media de las dos mediciones para X y la media de las cuatro mediciones para Y para obtener la media "verdadera" de proteínas. Hay unos 120 sujetos.

Hay una gran variación en las mediciones de las réplicas y, sorprendentemente, la relación entre los valores medios de X e Y no es muy fuerte (r = 0,36).

Estoy tratando de determinar qué técnica de medición es mejor. Me gustaría utilizar el nivel de proteínas del sujeto como predictor en un modelo de regresión. He pensado en mirar el coeficiente de variaciones y los alfas de Cronbach. ¿Deben ser coherentes estos dos resultados? ¿Son aplicables en este caso? ¿Qué recomendaría usted?

Ejemplo de datos:

Actualización:

Gracias a todos por las atentas respuestas. He averiguado más cosas sobre los datos (como que me los han tirado). Las mediciones de proteínas se hicieron en días consecutivos (así que X tuvo dos días e Y tuvo 4 días). Así que, naturalmente, la proteína de alguien varía de un día a otro, lo que explica la variabilidad de las mediciones. La media se utiliza entonces como una estimación de la ingesta actual de proteínas. En este momento, este es un enfoque común para medir el nivel de proteínas de un sujeto, ya que no hay manera de saber cuál es el nivel actual de ingesta de proteínas de una persona.

No me gusta elegir la medida de proteínas que más se correlaciona con el resultado. No creo que a los revisores les guste esta justificación. Mirar varias medidas de fiabilidad me parece un mejor enfoque (prefiero el coeficiente de variación). Siempre he pensado que el alfa de cronbach se utiliza para la fiabilidad de un constructo latente (supongo que se podría argumentar que la proteína es latente).

Además, la correlación entre X e Y es realmente baja. Sin embargo, he calculado esa correlación ignorando el error de medición evidente tanto en X como en Y. Si se corrige esto, la correlación será mayor. También me he dado cuenta de que la recogida de datos fue descuidada, por lo que no es sorprendente que no haya una correlación fuerte.

Answer 1

Aunque uno u otro tenga un alfa de Cronbach superior, eso no llegará al núcleo de su pregunta, porque a usted le interesa la validez en su conjunto, no sólo el aspecto de la validez que implica la fiabilidad. Yo buscaría la validez predictiva. Dado que una mayor cantidad de error en una medición amortiguará las correlaciones de esa variable con otras, cualquiera de las dos (X o Y) que se correlacione más fuertemente con su resultado de regresión es la mejor opción.

Answer 2

Aunque el punto de @rolando2 es el enfoque teóricamente correcto (te interesa la validez predictiva de tu medida) usar tu variable dependiente como criterio para el análisis de validez parece un argumento circular en el que tomas los mismos datos para decidir cuál es la mejor medida y estimar los coeficientes de regresión ( Véase Vul et al, 2008 ).

Por lo tanto, siguiendo también la tradición de teoría de la prueba clásica En este sentido, le recomiendo que se centre en la fiabilidad de cada medida. Porque, cuanto más fiable sea una medida, más varianza del valor real podrá captar.Yo utilizaría el alfa de Cronbach y las medidas relacionadas para comparar la fiabilidad de ambos métodos. El que hay que elegir es el que tiene mayor fiabilidad.

Sin embargo, no hay que olvidar que un mayor número de elementos (es decir, 4 frente a 2 medidas) conlleva automáticamente mayores Alfas. Por lo tanto, le recomiendo que eche un vistazo a la alpha() en la función paquete psych para R que tiene otras medidas además del Alfa de Cronbach.

Answer 3

Me gusta el enfoque de @rolando2, pero estoy de acuerdo con @henrik sobre la posible circularidad. Pero propongo una forma diferente de salir del círculo: Dividir los datos en un conjunto de entrenamiento y otro de prueba, y utilizar el primero para evaluar las medidas, y luego el segundo para cualquier otro análisis estadístico que se quiera hacer.

Lo ideal sería poder utilizar alguna otra variable para probar los dos conjuntos de medidas, pero no menciona ninguna.

Pero antes de todo eso, yo pensaría en lo que podría estar pasando aquí. No conozco en absoluto su campo, pero ¿deberían estar tan mal correlacionadas dos mediciones de proteínas? Habría pensado que este tipo de mediciones estaban mejor establecidas. ¿Los datos son correctos? ¿Se ha estropeado algo de alguna manera, antes del proceso?

Answer 4

No afirmo que esté seguro. Pero esto es lo que hice con los datos de tu ejemplo. En primer lugar, tenga en cuenta que los 5 objetos experimentales (obs) es una muestra de la población de objetos, y por lo tanto Obs es un factor aleatorio responsable de alguna variación. Para cada objeto, usted hizo 2 sondeos por el tipo de instrumento X (y, del mismo modo, 4 sondeos por el tipo Y). Los sondeos son responsables del resto de la variación (error uno). Podríamos estimar estos dos componentes de la variación, a saber, la varianza del factor aleatorio Obs - Var(Obs) , - y la varianza del error Factor de la sonda - Var(Sonda) en el caso del tipo X y en el caso del tipo Y. Esto se puede hacer mediante el Análisis de Componentes de la Varianza (ACV), una vez para X, otra vez para Y. Calcular la relación Var(Probe)/Var(Obs) en ambos casos. Dado que en ambos casos el factor Obs es el mismo (los mismos objetos), la proporción responderá a la pregunta de si el término de la sonda (error) es relativamente más fuerte, es decir, si el instrumento es peor (menos fiable). Hice el análisis con los datos de tu ejemplo en SPSS y resultó que Y es un instrumento considerablemente más débil que X.