¿Cómo extraer una conclusión sobre una hipótesis si un estudio obtiene p < 0,05 y un segundo estudio obtiene p > 0,05?

Question

Tengo una pregunta general sobre la comparación de dos estudios:

Supongamos que el estudio $A$ informa a $p$ -valor inferior a $0.05$ . Supongamos también que el estudio $B$ informa a $p$ -valor superior a $0.05$ . Supongamos que ambos estudios tienen el mismo $H_0$ y $H_a$ . Ambos estudios utilizan técnicas estadísticas diferentes.

¿Qué estudio es el "correcto"? ¿Habría que comparar las técnicas estadísticas utilizadas? Si el estudio $A$ se publicó antes del estudio $B$ ¿existiría un "sesgo de publicación" en el sentido de que la mayoría de la gente aceptaría el estudio $A$ como correcto?

Answer 1

Una cosa para recordar es que el p-valor es una estadística---toma sus datos y la transforma en una manera particular. Como resultado, el valor de p es una variable aleatoria. Tiene una media y una varianza. Es difícil calcular la distribución de la p-valor en general, pero es fácil calcular que bajo la hipótesis nula: si la hipótesis nula es verdadera, el valor de p tiene una distribución uniforme entre 0 y 1.

Puesto que el p-valor es al azar, es posible que los dos valores de p que se comparan no son estadísticamente diferentes. (De nuevo, el cálculo de los valores de p para las diferencias en los valores de p es duro, generalmente requiere más fuerte supuestos que el problema nos da. Que dos valores de p son estadísticamente iguales, entonces, es difícil de probar.)

Andrew Gelman le gusta decir que "la diferencia entre estadísticamente significativa y no, no es estadísticamente significativa." En otras palabras, 0.05 no es un mágico y de corte está por debajo de este valor no es necesariamente distinto a ser un poco arriba, debido a la aleatoriedad de la p-valor en sí mismo.

Otro problema es que algunos procedimientos son más eficientes que otros. Normalmente, la eficiencia se obtiene al hacer suposiciones adicionales sobre los datos y el uso de los supuestos para elaborar ajustes en el procedimiento de estimación. Es posible que los dos estudios tienen la misma estimación del efecto, pero tienen diferentes errores estándar, que conducen a diferentes valores de p simplemente porque un estudio que hace de los supuestos adicionales que obtiene menor de los errores estándar.

De real interés para usted debería ser si los dos estudios estiman el mismo efecto. Si las estimaciones son similares, la mayoría de la gente elegiría la más eficiente y significativa, a menos que ellos creen que los supuestos necesarios para la eficiencia no son válidos.

Si las estimaciones del efecto en sí no son similares, entonces usted necesita para mirar a los dos procedimientos de estimación y determinar cuál es el más convincente---esto no es algo que me puede comentar sin conocer los detalles.

Answer 2

No existe realmente un estudio creíble "incorrecto" y "correcto" basado en los valores p. Puedes realizar un estudio de mala calidad y obtener un valor p realmente bajo (de hecho, es fácil hacerlo). Se puede realizar un estudio de mala calidad y obtener un valor p realmente bajo (de hecho, es fácil hacerlo), o se puede realizar un estudio que sea esencialmente una obra maestra científica y obtener un resultado no significativo. O se puede realizar el mismo estudio varias veces y obtener resultados significativos y no significativos.

Para responder a otras partes de su pregunta:

"Sesgo de publicación": Lo que preguntas no es en realidad sesgo de publicación, porque has dado a entender que tanto el Estudio A como el Estudio B están publicados (o al menos localizables). Aunque es evidencia de que un artículo con un hallazgo significativo tiene más probabilidades de ser publicado, si ambos lo son, lo que en realidad estás preguntando se acerca más al "Sesgo de citación". Y existe una clara posibilidad de que sí, la gente favorezca el resultado significativo, aunque realmente no debería.

Técnica estadística: SÍ . Es absolutamente necesario comparar las dos técnicas estadísticas. Hay dos razones para ello:

1. Uno de ellos podría ser incorrecto/inapropiado. Los científicos, incluso los buenos, son seres falibles. Es posible que el método que hayan utilizado sea inadecuado para su pregunta o sus datos, o que un estudio sea claramente superior. Por ejemplo, si el estudio A no se molesta en ajustar por algún factor de confusión realmente claro y el estudio B sí lo hace, entonces sí, el estudio B probablemente sea "mejor", en igualdad de condiciones.
2. Puede comprobar si sus resultados son realmente contradictorios o no. Algunas de las grandes historias canónicas de "¡Dos estudios no están de acuerdo!", sobre todo en el ámbito de la salud, suelen deberse en realidad a que plantean preguntas muy sutilmente diferentes. Esto no suele quedar claro a primera vista, y a menudo los autores de los estudios no se dan cuenta en absoluto. Un buen ejemplo sería el examen que hace Hernán de las conclusiones de la Iniciativa para la Salud de la Mujer sobre la THS frente a las supuestamente contradictorias del Nurses Health Study y otros estudios de cohortes. Resulta que, en gran parte, se trataba de hacer preguntas diferentes (véase: http://www.hsph.harvard.edu/faculty/miguel-hernan/files/hernan_biometrics05.pdf ).

Sin embargo, hay una manera de hacer frente a todo esto. El metaanálisis es, en esencia, un conjunto de técnicas para sintetizar los resultados de una bibliografía, a menudo en conflicto (es de suponer que en realidad se tienen más de dos estudios) y considerarlos como un todo coherente.

Answer 3

Es muy posible que AMBOS estudios sean correctos. También es posible que ambos estén equivocados. O que cualquiera de los dos sea correcto.

¿Qué pregunta trataban de responder ambos estudios? ¿Qué técnicas estadísticas utilizaron? ¿Cuáles fueron las estimaciones de los parámetros de cada uno? ¿Utilizaron los mismos datos? ¿Qué datos utilizó cada uno?

En este momento, su pregunta es algo así como Una persona dice que el whisky escocés es mejor que la cerveza. Otra dice que no. ¿Quién tiene razón? Tienen papilas gustativas diferentes.

Answer 4

Suponiendo que ambos estudios pongan a prueba la misma hipótesis nula, su pregunta expone un problema importante con las pruebas de hipótesis de tipo Neyman-Pearson. Si no tomamos el primer resultado como definitivo, no estamos "jugando con las reglas" y no controlamos la tasa de falsos positivos. Por eso Fisher se quejaba repetidamente de que el método N-P era bueno para el control de calidad industrial y los procedimientos de aceptación, pero prácticamente inútil para la investigación científica.

Si realmente desea un resultado compuesto de los dos estudios, entonces debe utilizar los valores P exactos en lugar de la división binaria N-P entre significativo y no significativo. Busca en Google 'combining p values' para empezar (estoy de permiso jugando con un iPad, así que no tengo acceso a mis recursos, así que es lo mejor que puedo hacer por ti en este momento).