Reclamar la validez de un hallazgo negativo de un estudio

Question

Para una enfermedad que me interesa, cinco o seis trabajos de investigación publicados han mostrado una asociación de los cambios en la expresión genética con la presencia de la enfermedad. Sin embargo, todos estos estudios de biomarcadores de diagnóstico se realizaron con un número reducido de casos (15-30) y controles (15-30), y las coincidencias entre sus listas de biomarcadores potenciales son mínimas. Los casos y los controles se definen utilizando criterios clínicamente relevantes.

Recientemente hemos completado un estudio relativamente grande y multi-institucional con 80 casos y 80 controles para investigar esto. Todas las muestras clínicas se procesaron juntas como un lote en una de las instituciones. Los análisis de nuestros datos sugieren que no hay asociación de la expresión genética con la presencia de la enfermedad. Utilizando los datos de uno de los estudios publicados que utilizó la misma tecnología de medición de la expresión génica que este estudio, para calcular el tamaño del efecto con la SSPA Paquete R basado en la estadística t moderada según el limma R, este estudio tiene una potencia de ~92% a alfa=0,10.

Los análisis que hemos realizado son:

1. agrupación jerárquica no supervisada basada en varios tipos de medidas de distancia (evaluación subjetiva)

2. análisis de componentes principales; gráficos tradicionales y matriciales (evaluación subjetiva)

3. varios tipos de pruebas de dos grupos para la expresión diferencial de los genes (umbral de significación de 0,05 para los valores P ajustados para el falso descubrimiento)

4. análisis de clasificación/predicción con validaciones cruzadas de tipo "leave-one-out" y Monte Carlo, utilizando métodos de máquinas de vectores de apoyo de núcleo lineal (SVM) y de par de puntuación superior (TSP); en el caso de la SVM, la selección de variables se basa en medidas de expresión diferencial; la TSP no requiere expresión diferencial (los índices de precisión en estos análisis se sitúan en el rango del 45%-55%)

5. confirmar la ausencia de expresión diferencial para algunos de los genes, identificados en los estudios anteriores como posibles marcadores de la enfermedad, tras cuantificar la expresión de los genes utilizando una tecnología diferente (transcripción inversa-PCR en lugar de microarrays de hibridación)

¿Son suficientes para confiar en la conclusión negativa de nuestro estudio, que las mediciones de la expresión génica no pueden utilizarse para el diagnóstico de enfermedades? ¿Hay algún otro tipo de evaluación subjetiva u objetiva del conjunto de datos de expresión que deba hacer?

Entiendo las advertencias habituales para tales conclusiones. Por ejemplo, puede haber subgrupos de casos en los que existan marcadores de la enfermedad, o que la sensibilidad o especificidad de la tecnología de medición no haya sido lo suficientemente adecuada como para que se detecten algunos genes marcadores reales.

Gracias.

Answer 1

"¿Son suficientes para tener confianza en el hallazgo negativo de nuestro estudio?" Depende de lo que se entienda por "tener confianza". ¿Puedes irte y decir "La asociación es negativa, ya hemos terminado"? No. Puedes tener confianza en que, después de haberlo analizado de varias maneras, no estás detectando una asociación en tus datos.

¿Pero la confianza en el hallazgo negativo como reflejo de la "verdad"? La verdad es que no. La confianza que uno debe tener en sus hallazgos no está en función de la cantidad de análisis que se le dedique. Uno podría, por ejemplo, utilizar técnicas de regresión cada vez más elaboradas para examinar su conjunto de datos de formas totalmente nuevas y novedosas, pero si sus sujetos están mal clasificados, o han pasado por alto una variable de confusión importante, entonces simplemente tienen un volumen impresionante de resultados incorrectos.

También hay otras consideraciones. Su estudio puede tener poca potencia. Los estudios más pequeños son más con poca potencia, pero es posible tener tanto poca potencia como suerte. Del mismo modo, es posible que simplemente se esté experimentando una cierta cantidad de variación aleatoria: un cierto número de estudios que analizan un efecto positivo de la "verdad en mayúsculas, a la vista de Dios" seguirán encontrando resultados negativos o nulos. Es posible que su estudio sea uno de ellos.

Sin embargo, si suponemos que los datos se han recogido correctamente y que el sesgo derivado de elementos como la clasificación errónea y la confusión es mínimo, creo que se puede confiar en su encontrar para su población del estudio, y puede estar seguro de que sus resultados sugiera que la asociación es negativa. Sin embargo, una masa de análisis sobre una única población de estudio no constituye un conjunto de pruebas.

Answer 2

Esta es una gran pregunta. Los estudios negativos deben publicarse más a menudo en la literatura para reducir o eliminar el sesgo de publicación. Me gusta que haya realizado tantos análisis reflexivos.

EpiGrad hace algunas buenas advertencias en su respuesta. Sin embargo, creo que hay una forma de ver el vaso medio lleno que debería considerarse. Una cosa que no vi en su lista fue un meta análisis. Creo que podría hacer uno y debería añadir todos los estudios bien diseñados y comparables (que tengan resultados negativos o positivos). Si el análisis lleva a una conclusión negativa, creo que refuerza tu caso.

Además, la tradición dice que en las pruebas de hipótesis clásicas el resultado negativo es la hipótesis nula y la alternativa es el resultado positivo que el investigador intenta aportar como inferencia estadística para rechazar esta hipótesis nula. Los estudios se diseñan para tener tamaños de muestra que maximicen la potencia (lo que hace probable que se rechace la hipótesis nula cuando la alternativa es correcta).

En los ensayos clínicos farmacéuticos, la FDA aprueba a veces los medicamentos que demuestran ser no inferiores a un control (o equivalentes en otros casos, como la aprobación de un medicamento genérico). Estos estudios implican la inversión de las hipótesis nula y alternativa. Estos estudios tienen la potencia necesaria para rechazar la inferioridad (o la no equivalencia). Si puedes mirar los datos de esta manera y rechazar una hipótesis nula de que el biomarcador funciona, creo que eso superará la crítica válida de EpiGrads.

Dado que el enfoque de Neyman-Pearson para la comprobación de hipótesis está controlado por consideraciones de tamaño de la muestra para rechazar la hipótesis nula a través de la potencia de la prueba y no está diseñado para "probar" la hipótesis nula, los estadísticos siempre advierten a los usuarios que si no se rechaza la hipótesis nula no se debe concluir que se acepta la nula. Cambiar la nula y la alternativa resuelve este problema.