¿Qué ejemplos de acechando variables en experimentos controlados hay en las publicaciones?

Question

En el presente artículo:

Al Acecho De Las Variables: Algunos Ejemplos Brian L. Joiner El Estadístico Americano Vol. 35, Nº 4, Nov., 1981 227-233

Brian Joiner afirma que "la aleatorización no es una panacea". Esto es contrario a las declaraciones comunes, tales como la de abajo:

Un experimento bien diseñado incluye características de diseño que permiten los investigadores para eliminar variables extrañas como una explicación de los la relación observada entre la variable independiente(s) y la la variable dependiente. Estas variables extrañas son llamados al acecho variables.

La cita fue tomada de esta pregunta y no tiene una fuente, pero en mi experiencia es representativa de la actitud prevaleciente: Ejemplos de Acechando Variable e Influyentes de la Observación

Un ejemplo es que cuando se prueba la seguridad (específicamente la carcinogénesis) de rojo #40 colorante alimentario en roedores en los años setenta un efecto de jaula de posición se encontró que confundir el estudio. Ahora he leído muchos artículos de revistas estudio de carcinogénesis en los roedores y nunca he visto a nadie informe de control para este efecto.

Además de la discusión de estos estudios se puede encontrar aquí: Un estudio de caso de la estadística en el proceso de regulación: la ley FD&C Rojo Nº 40 experimentos.

No he podido encontrar una que no paywalled versión, pero aquí hay un extracto:

En la reunión de enero, se presenta un análisis preliminar (14) que reveló una fuerte correlación entre la jaula de la fila y RE (retículo-endotelial tumor) las tasas de mortalidad, que varía de un 17% (fila inferior) 32% (fila superior) (tabla 2). Nosotros no podría explicar esta asociación fuerte por sexo, grupo que recibió la dosis, o bastidor de la columna o de la posición. Un análisis posterior (18) también indicó que la jaula de la posición (frente a frente de nuevo) puede estar correlacionado con no VOLVER la mortalidad y de la posición se correlacionó con el tiempo para no VOLVER de la muerte.

Estoy especialmente interesado en por qué parece que hay un problema con la replicación en la literatura médica, pero hay ejemplos de todos los campos sería bienvenido. Tenga en cuenta que estoy interesado en los ejemplos de experimentos controlados aleatorios, no estudios observacionales.

Answer 1

Un par de ejemplos de investigación clínica podrían ser las variables que surgen después de la aleatorización - aleatorización no lo protege a usted de las personas en todos. Un par de la parte superior de mi cabeza, que han sido planteadas como posibilidades o ha señalado:

• Cambios en el comportamiento post voluntarios adultos de la circuncisión masculina para la prevención del VIH
• Diferencial de pérdida de seguimiento entre el tratamiento y el control de los brazos de un ECA
• De forma más concreta el ejemplo podría incluir la reciente "los Beneficios de la Universal Gowning y los Guantes" estudio sobre prevención de infecciones nosocomiales (comentario en blog aquí, el papel está detrás de un paywall). Además de la intervención, y, potencialmente, a causa de ello, tanto la higiene de las manos las tasas y las tasas de contactos entre los pacientes y el personal/los visitantes cambiado.

La aleatorización protege contra ninguno de los efectos, ya que surgen de post-aleatorización.

Answer 2

Aquí es un ejemplo que he encontrado de datos de microarrays. La medición de la expresión se ha divulgado para ser fuertemente correlacionada con la posición de los "chips". Este es un caso donde la aleatoriedad en la posición de las muestras puede conducir a un aumento de la probabilidad de cometer un error de etiquetado para los que realizan el trabajo técnico puede elegir no aleatorizar si ellos no piensan que es importante.

La asignación aleatoria de las unidades experimentales a los tratamientos controles de la probabilidad de que cualquier otro factor que el tratamiento es la causa de la asociación (1,2). En algunas plataformas de microarrays como Illumina® y NimbleGenTM, múltiples muestras biológicas puede ser hibridado a un solo chip. Chip y muestra los efectos de la posición pueden afectar a la precisión y la reproducibilidad de los experimentos de microarrays, a menos que el equilibrio y la la aleatorización se considera en el diseño experimental (4). Nuestro objetivo fue comparar el impacto de estos efectos en un confundidos y un experimento aleatorio.

Importancia de la Aleatoriedad en Microarrays Diseños experimentales con Illumina Plataformas

Ricardo A. Verdugo, Christian F. .. Deschepper, y Gary A. Churchill. El Laboratorio de Jackson, Bar Harbor, ME 04609, Institut de Recherches Cliniques, Montreal, QC, Canadá.

Answer 3

Tengo un ejemplo que podría ser algo diferente de lo que originalmente la intención de que cuando usted esta pregunta. El pasado año o dos que han dado lugar a un debate en curso en la psicología sobre la causa de la falta de replicabilidad de los efectos de experimentos aleatorios. Las versiones de este debate han surgido durante muchos años, pero el debate se ha vuelto más estridente desde la publicación de un documento que muestra que muchas de las prácticas que son estándar en psicología en la formulación de hipótesis, recolección de datos, análisis de datos y presentación de informes de resultados permiten a los investigadores para encontrar resultados de apoyo arbitrariamente elegido hipótesis (en el original en papel, los investigadores utilizaron estas prácticas para mostrar que escuchar "Cuando estoy Sesenta y Cuatro" de los Beatles hicieron que la gente más joven).

La raíz del problema, por supuesto, es el omnipresente estructuras de incentivos en la psicología y en otras ciencias) para obtener novela, positiva, "publicable" resultados. Estos incentivos alientan a los investigadores a adoptar prácticas que, aunque no se como, obviamente, "mal", como los datos de fabricación, sin embargo, conducir a un aumento de la tasa de resultados falsos positivos. Estas prácticas incluyen:

1. La colección de múltiples, y muy similar, las variables dependientes. Sólo la variable dependiente que produce los resultados más consistentes con la hipótesis original se informó.
2. Durante la recopilación de datos, las pruebas de los resultados significativos varias veces y detener la recopilación de datos cuando el significado se obtiene.
3. Durante el análisis, la inclusión de múltiples covariables en el modelo estadístico. En el documento final, sólo la combinación de las covariables que conduce a resultados más consistentes con la hipótesis original se informó.
4. Dejar caer las condiciones que conducen a resultados que son incompatibles con el original hyptoheses y no informar de estas condiciones en el papel.

Y así sucesivamente.

Yo diría que el "acecho variable" en estos casos es la estructura de incentivos que premia a los investigadores para la obtención de positivos, "publicable" resultados. De hecho, ya ha habido varios de alto perfil de resultados en psicología (muchos de los cuales son en mi especialidad, la psicología social) que no se han podido replicar. Estos fallos de replicar, muchos sostienen, poner en duda todo el sub-campos de la psicología.

Por supuesto, el problema de las estructuras de incentivos que animen a los falsos positivos no es exclusivo de la psicología; este es un problema endémico de la ciencia, y por lo tanto a todos los ensayos controlados aleatorios.

Referencias

Simmons, J. P., Nelson, L. D., & Simonsohn, U. (2011). Falso-la psicología positiva: no divulgada de la flexibilidad en la recolección y análisis de datos permite presentar algo tan importante. La Ciencia Psicológica, 17, 1359-1366.

Nosek, B. A., Espías, J. R., & Motyl, M. (2012). Utopía científica: II. La reestructuración de incentivos y prácticas para promover la verdad sobre publishability. Perspectivas de la Ciencia Psicológica, 7, 615-631.

Yong, E. (2012). Una mala copia. La naturaleza, 485, 298-300.

Abbott, A. (2013). Disputa de los resultados de un nuevo golpe para la psicología social. La naturaleza, 497, 16.