Cómo tratar a los participantes que no superan los controles de comprensión de forma no aleatoria

Question

Digamos que estoy realizando un estudio para evaluar los efectos de la presión del tiempo en alguna tarea de toma de decisiones. Añado una comprobación de comprensión para asegurarme de que los participantes entienden la tarea que van a realizar, y la comprobación de comprensión implica algún elemento de presión de tiempo. La condición de control no tiene esa comprobación de comprensión porque su tarea no implica presión de tiempo.

Ahora, digamos que el 40% del tratamiento falla en la comprobación de la comprensión. Puedo ver dos enfoques para tratar esto:

1. Elimino del conjunto de datos a todos los individuos que no superan la comprobación de comprensión
2. Incluyo todas las observaciones, independientemente de que pasen o no el control de comprensión, y añado una variable ficticia por pasar el control de comprensión.

¿Cuál de estos dos enfoques es preferible? ¿Existe un enfoque mejor que cualquiera de los dos?

Y lo que es más importante, me parece que ambos enfoques adolecen del problema de que la propia comprobación de la comprensión covaría con el tratamiento (de una manera un tanto inevitable). ¿Es posible encontrar un efecto del tratamiento, incluso después de realizar la opción 2, que esté de alguna manera "causado" por la comprobación de la comprensión?

Answer 1

Encontré una muy buena documento sobre las variables posteriores al tratamiento que menciona:

Si las tasas de paso en un control de atención son rechazadas por el tratamiento para cualquier razón, descartar a los encuestados que no lo superan equivaldría a descartar los casos de una covariable posterior al tratamiento y, de nuevo, se correría el riesgo de un sesgo.

Así que, sí, su preocupación es válida. Creo que se habla de posibles técnicas para manejar este caso.

No soy un experto, pero mi instinto me dice que sí: 1) documentar qué porcentaje del grupo de control falló el control. 2) Analizar todos los datos, ignorando la pregunta de control, como si la pregunta no se hubiera formulado.

Al ignorar la pregunta de comprobación, no cometerás un sesgo post-tratamiento -que en tu caso podría ser grave, creo- pero añadirás algo de ruido debido a los participantes que no estaban prestando atención.

Pero al menos tiene un porcentaje de referencia de fallos de comprobación en el grupo de control. Esperemos que sea bajo. Creo que podríamos decir que una proporción similar del grupo de tratamiento también fallaría la comprobación si el estrés no fuera parte del tratamiento, por lo que esa proporción del conjunto daría una idea aproximada de cuánto ruido -encuestas sin sentido- introdujimos en nuestro estudio al "no hacer" (no usar, en realidad) una comprobación de la atención.

(Para que conste, su publicación original parece dar a entender que el control es una pregunta sobre la tarea que tiene por delante, que se administra antes de la encuesta. Pero yo creo que es una pregunta que se desliza en la encuesta para comprobar la comprensión/atención).