Escollos en el diseño experimental: Evitar los experimentos muertos

Question

Me he encontrado con esta cita en numerosas ocasiones:

Consultar al estadístico una vez finalizado un experimento es a menudo es simplemente pedirle que realice un examen post mortem. Tal vez pueda decir de qué murió el experimento. -- Ronald Fisher (1938)

A mí me parece quizás un poco presuntuoso. Los únicos ejemplos que he encontrado que describen cómo mueren los experimentos sin un buen diseño giran en torno a la falta de controles, o a los controles deficientes. Por ejemplo, experimentos que controlan la aplicación de un fertilizante, pero que no controlan el entorno necesario para la aplicación. Tal vez sea sólo yo, pero parece que una lectura rápida a través de la sección de Wikipedia sobre los principios de diseño de Fisher cubriría la mayoría de las bases.

Como estadístico, ¿con qué frecuencia ve problemas relacionados con el diseño del experimento en los datos? ¿Están siempre relacionados con los pocos factores mencionados por Fisher, o hay otras trampas graves que los científicos sin formación estadística deberíamos tener en cuenta?

Answer 1

Creo que lo que Fisher quiso decir en su famosa cita va más allá de decir "haremos un diseño factorial completo para nuestro estudio" u otro enfoque de diseño. Consultar a un estadístico a la hora de planificar el experimento significa pensar en todos los aspectos del problema de forma inteligente, incluido el objetivo de la investigación, qué variables son relevantes, cómo recogerlas, la gestión de los datos, los escollos, la evaluación intermedia de cómo va el experimento y mucho más. A menudo, considero que es importante ver de cerca cada aspecto del experimento propuesto para entender realmente dónde están las dificultades.

Mi experiencia es principalmente de aplicaciones médicas. Algunos de los problemas que he encontrado podrían haberse evitado consultando previamente a un estadístico:

• El tamaño insuficiente de la muestra es, por supuesto, el número uno de esta lista. A menudo, los datos de estudios anteriores habrían estado disponibles y habría sido fácil dar una estimación razonable del tamaño de la muestra necesaria. En estos casos, el único recurso suele ser hacer un análisis puramente descriptivo de los datos y prometer más investigación en el artículo (no publicar no suele ser una opción después de que los médicos hayan invertido un tiempo valioso).
• La ejecución de los experimentos se deja a la conveniencia y al azar en lugar de al diseño. Un ejemplo en el que estoy trabajando actualmente tiene mediciones recogidas a lo largo del tiempo. Los tiempos de medición, la frecuencia de las mediciones y el final del período de seguimiento varían mucho entre los individuos. Aumentar el número de mediciones por individuo y fijar las fechas de medición y el final del periodo de seguimiento habría supuesto muy poco trabajo extra (en este caso) y habría sido muy beneficioso para el estudio.
• Control deficiente de los factores de perturbación que podrían haberse controlado fácilmente. Por ejemplo, las mediciones se realizaron a veces el mismo día de la recogida de la muestra y otras veces más tarde, dejando la posibilidad de que la muestra se haya degradado.
• Mala gestión de los datos, incluido mi favorito personal: "He redondeado los datos antes de introducirlos en el ordenador, porque la máquina es inexacta en sus mediciones". A menudo, los datos relevantes simplemente no se recogen y es imposible obtenerlos a posteriori.

A menudo, los problemas de un estudio se remontan incluso a la concepción inicial de la investigación:

• A veces se recogen datos sin un objetivo claro y sólo con la suposición de que serán útiles de alguna manera. La elaboración de hipótesis y "resultados significativos" se deja en manos del estadístico.
• Y lo contrario: se reúnen datos con el objetivo de demostrar un punto específico que el IP tiene en su cabeza, independientemente de los datos y de lo que realmente se puede demostrar con ellos. Esta vez, el estadístico sólo debe poner su sello de importancia en las conclusiones preescritas sin que éstas se ajusten a los datos.

Hasta ahora, esto suena principalmente a que el estadístico sufre y tal vez la integridad científica sufre cuando el IP trata de impulsar conclusiones no apoyadas por los datos (siempre una discusión divertida). Pero el equipo experimental también sufre, porque hace un trabajo extra innecesario (mientras no hace el trabajo necesario) durante la fase experimental y tiene que pasar mucho más tiempo discutiendo con su estadístico después del hecho, porque no recibió su consejo antes. Y, por supuesto, el artículo final será peor, tendrá menos conclusiones (y más "conjeturas") y probablemente no llegará a esa revista de alto impacto que el IP quería.

Answer 2

Dos palabras: Tamaño de la muestra... Un análisis de potencia es imprescindible. Si incluye a un estadístico competente en su equipo desde el principio, probablemente se ahorrará una gran cantidad de frustración cuando escriba las secciones de resultados y discusión de su manuscrito o informe.

Es demasiado habitual que un investigador principal recoja datos antes de consultar con un estadístico con la expectativa de obtener un "modelo predictivo" o una "relación causal" a partir de una muestra de menos de 30 sujetos. Si el IP hubiera consultado con un estadístico antes de recoger los datos, el estadístico habría podido informar al IP, tras los análisis pertinentes, de que debía recoger más datos/sujetos o reestructurar los objetivos de su plan/proyecto de análisis.

Answer 3

Supongo que depende de la interpretación estricta que se haga de la palabra "diseño". A veces se interpreta como algo completamente aleatorio frente a bloques aleatorios, etc. Creo que no he visto ningún estudio que haya muerto por eso. Además, como otros han mencionado, sospecho que "murió" es demasiado fuerte, pero depende de cómo se interprete el término. Ciertamente, he visto estudios que fueron "no significativos" (y que los investigadores posteriormente no intentaron publicar como resultado); bajo la suposición de que estos estudios podrían haber sido "significativos" si se hubieran realizado de forma diferente (de acuerdo con los consejos obvios que yo habría dado), y por lo tanto haber sido publicados, podría calificarse como "muerto". A la luz de esta concepción, la cuestión de la potencia planteada tanto por @RobHall como por @MattReichenbach es bastante sencilla, pero la potencia es algo más que el tamaño de la muestra, y podría entrar en una concepción más laxa del "diseño". He aquí un par de ejemplos:

• No recoger / registrar / o tirar la información
  Trabajé en un estudio en el que los investigadores estaban interesados en saber si un rasgo concreto estaba relacionado con un cáncer. Obtuvieron ratones de dos líneas (es decir, líneas genéticas, los ratones fueron criados por ciertas propiedades) donde se esperaba que una línea tuviera más del rasgo que la otra. Sin embargo, el rasgo en cuestión no se midió realmente, aunque podría haberlo hecho. Esta situación es análoga a la dicotomización o binning de una variable continua, que reduce la potencia. Sin embargo, aunque los resultados fueran "significativos", serían menos informativos que si conociéramos la magnitud del rasgo para cada ratón.

  Otro caso dentro de este mismo epígrafe es el de no pensar y recoger las covariables obvias.

• Diseño deficiente del cuestionario
  Recientemente trabajé en un estudio en el que se administró una encuesta de satisfacción del paciente bajo dos condiciones. Sin embargo, ninguno de los ítems se puntuó de forma inversa. Parecía que la mayoría de los pacientes se limitaban a bajar por la lista y marcar todos los 5s ( muy de acuerdo ), posiblemente sin ni siquiera leer los artículos. Hubo algunos otros problemas, pero esto es bastante obvio. Curiosamente, la persona encargada de realizar el estudio me dijo que su asistente la había animado explícitamente a no para examinar el estudio con un estadístico primero, aunque estamos disponibles de forma gratuita y conveniente para dicha consulta.

Answer 4

He visto este tipo de problemas en experimentos psicológicos y de tipo encuesta.

En un caso, todo el experimento tuvo que ser calificado como una experiencia de aprendizaje. Hubo problemas a múltiples niveles que dieron lugar a un revoltijo de resultados, pero resultados que parecían dar cierto apoyo a la hipótesis. Al final, pude ayudar a planificar un experimento más riguroso, que esencialmente tenía suficiente poder para rechazar la hipótesis.

En el otro caso, me entregaron una encuesta ya diseñada y ejecutada, y hubo múltiples problemas que hicieron que varias áreas de interés se vieran afectadas. En un área clave, por ejemplo, preguntaban cuántas veces los clientes fueron rechazados de un evento debido a que estaba lleno cuando llegaron. El problema es que no hay un rango de tiempo en la pregunta, por lo que no se podía distinguir entre alguien que había intentado asistir 4 veces y había sido rechazado 4 veces y alguien que había intentado asistir 40 veces y sólo había sido rechazado 4 veces.

No soy un estadístico con mayúsculas, pero si hubieran acudido a mí de antemano, habría podido ayudarles a solucionar estos problemas y obtener mejores resultados. En el primer caso, todavía habría sido un decepcionante "Lo siento, su hipótesis parece extremadamente improbable", pero podría haberles ahorrado un segundo experimento. En el segundo caso, les habría dado respuestas a algunas preguntas importantes y habría hecho que los resultados fueran más nítidos. (Otro problema que tuvieron es que encuestaron en varios lugares a lo largo del tiempo y, por lo tanto, al menos algunas personas fueron encuestadas varias veces, sin una pregunta como "¿Ha realizado esta encuesta en otro lugar?").

Tal vez no sean cuestiones estadísticas en sí, pero en ambos casos, expertos en la materia, inteligentes y bien formados, crearon instrumentos defectuosos, y los resultados fueron un experimento muerto y otro con miembros amputados.