He realizado una encuesta con muchos encuestados. Había un conjunto de preguntas, y a cada encuestado se le hacían 3 de las preguntas (elegidas uniformemente al azar e independientemente para cada encuestado).
Ahora me interesa comparar la fracción de encuestados que respondieron a la pregunta $i$ correctamente a la fracción que respondió a la pregunta $j$ correctamente. ¿Cuál es la mejor metodología para hacerlo?
Tenga en cuenta que a algunos de los encuestados se les habrán hecho las dos preguntas $i$ y $j$ (para ellos, se trata de un diseño dentro de los sujetos), mientras que a muchos se les habrá preguntado sólo una u otra (para esta subclase de encuestados, se trata más bien de un diseño entre sujetos).
Opción 1. Podría contar el número total de encuestados que respondieron a la pregunta $i$ y el número de personas que han respondido correctamente para obtener la fracción que ha respondido a la pregunta $i$ correctamente. Del mismo modo, podría calcular la fracción de los encuestados que respondieron a la pregunta $j$ correctamente. Entonces podría comparar estos dos números. Básicamente, estaría ignorando el hecho de que a algunos usuarios se les hicieron ambas preguntas; no se preocupe, sea feliz. Esto es una especie de híbrido entre un diseño dentro de los sujetos/entre los sujetos.
Opción 2. Podría filtrar todos los encuestados a los que se les hicieron ambas preguntas $i$ y $j$ . Del resto de los encuestados a los que se les hizo una u otra pregunta $i$ o pregunta $j$ (pero no las dos), podría entonces calcular la fracción que respondió a la pregunta $i$ correctamente y la fracción que respondió a la pregunta $j$ correctamente. Esto es esencialmente convertir esto en un diseño entre sujetos.
Opción 3. Podría conservar sólo las respuestas de los encuestados que vieron ambas preguntas, y luego comparar utilizando una prueba estándar para diseños dentro de los sujetos. El inconveniente es que habré filtrado la mayoría de las respuestas; probablemente sólo unos pocos encuestados habrán sido seleccionados al azar para responder a ambas preguntas.
Opción 4. Podría hacer algo más (tú me dices qué).
¿Tiene algún consejo? ¿O hay algún escollo con alguno de ellos? ¿Hay que descartar alguna de estas opciones? ¿Quizás haya una manera de combinar lo mejor de ambos mundos, y combinar tanto la opción 2 como la 3 de alguna manera inteligente?