¿Cuál es el tamaño correcto de la muestra cuando se calcula el IC para un subconjunto de resultados?

Question

Supongamos que tengo un estudio de 3031 personas que obtienen respuestas a varias preguntas (95% CL). Una de las preguntas (Q1a) obtiene una respuesta afirmativa de 616 de las personas. De esas 616, sólo 34 tienen una CalidadB (las 582 restantes no la tienen) que depende de una respuesta afirmativa a (Q1a).

Al determinar el margen de error de la calidadB (intervalo de confianza) utilizando esta calculadora online ¿uso 34 o 616 para el tamaño de la muestra? Creo que debería utilizar 616 para el tamaño de la muestra, 3031 para el tamaño de la población y 5% para el porcentaje, pero no estoy seguro.

• Utilizando 616 como tamaño de la muestra, el resultado es de +/- 1,54%.
• Utilizando 34 como tamaño de la muestra, el resultado es de +/- 7,29%.

Answer 1

Tal y como yo interpreto la pregunta, este problema puede resolverse fácilmente mediante un cuidadoso razonamiento sobre lo que ocurre y cuáles son los objetivos de la encuesta. Incluso podemos hacer algunos cálculos mentales sencillos como comprobación del intervalo de confianza producido por el software.

Considere este modelo de encuesta. En una población, los miembros tienen los siguientes atributos: su respuesta a Q1a ("sí" o "no") y su CalidadB (presente o ausente). Sin embargo, el valor de la CalidadB sólo está disponible y es significativo para los que respondieron "sí". Uno de los objetivos de la encuesta es estimar la proporción de personas que han respondido "sí" y que tienen presente la CalidadB. Para ello, la encuesta ha seleccionado 3031 personas de forma independiente y aleatoria de la población.

Si este modelo se aproxima razonablemente a la encuesta y a su objetivo, observe que el procedimiento de aleatorización por el que se seleccionaron las 3031 personas constituye a fortiori un procedimiento aleatorio para seleccionar entre los "sí". Sin embargo (a diferencia de la especificación del tamaño de la muestra de 3031, que suele determinar el investigador), el número de personas que responden "sí" no se determinó de antemano: también es una cantidad aleatoria.

Sin embargo, en parte porque el tamaño de la submuestra de 616 es muy grande, es una aproximación razonable analizarlo como si se tratara de una muestra aleatoria de 616 personas elegidas sólo entre los "sí" de la población. (Como justificación parcial de por qué podemos considerar 616 "l

La teoría del binomio es aplicable estimamos que la proporción de personas de QualityB entre los que responden "sí" es de $34/616$ = $5.5$ y estimamos la varianza de esa proporción como $(34/616)(1 - 34/616)$ para una desviación estándar estimada de $0.22836$ . Como el tamaño de la submuestra es $616$ el error estándar de la proporción es $0.22836/\sqrt{616}$ = $0.92$ %. Así que, para ver hacia dónde se dirige esto, podríamos utilizar una aproximación normal como comprobación aproximada. Esto nos dice que debemos esperar que el procedimiento de intervalo de confianza nos dé un rango de aproximadamente $5.5$ - $1.65 \times 0.92$ = $4.0$ % a $5.5 + 1.65 \times 0.92$ = $7.0$ %. Este rango está muy cerca del valor citado de $5.5 \pm 1.54$ %. (El multiplicador de $1.65$ debería dar, aproximadamente, un $90$ % de intervalo de confianza de dos caras).

Llegamos a la conclusión de que la proporción de personas con QualityB entre todo "respuestas afirmativas en la población es probable que esté entre $4$ % y $7$ %. Para deducirlo, hemos utilizado un procedimiento que nos engañará (por la suerte del sorteo) como máximo $10$ El % de las veces se aplica adecuadamente; de ahí viene nuestra "confianza".

---

Editar

Como en los comentarios se han planteado algunas dudas sobre la validez de esta respuesta, vamos a comprobarlo. Una forma es hacer un bootstrap de los datos para evaluar el sesgo. Pero antes de continuar, vamos a reformular el problema de forma más concreta.

Supongamos, entonces, que estamos interesados en la proporción de ciudadanos estadounidenses de edad avanzada (definidos, digamos, como mayores de 55 años el 1 de enero de 2012 y residentes en Estados Unidos en esa fecha) que han probado alguna vez drogas recreativas. Para ello, identificamos todo adultos residentes y enviar un cuestionario a 3011 adultos seleccionados al azar. En él hay dos preguntas, análogas a las preguntas Q1a y QualityB comentadas anteriormente:

1. ¿Cuál era su edad el 1 de enero de 2012?

2. Si ha respondido a la pregunta 1 con 55 años o más, ¿ha consumido alguna vez a sabiendas una droga, con fines recreativos, que en ese momento requiriera una receta médica o que fuera ilegal consumir o vender en los Estados Unidos?

Milagrosamente -quizás gracias a un seguimiento increíblemente diligente- recibe respuestas válidas en los 3011 cuestionarios. Los datos son:

• 616 de las respuestas son de 55 años o más.

• De esos 616, 34 respondieron "sí" a la segunda pregunta.

¿Qué proporción debe estimar? ¿Hay alguna forma válida de estimar una proporción?

Una forma de bootstrap estudia este problema adoptando una población sintética que tiene exactamente las mismas proporciones observadas en los datos y recrea el experimento y su análisis muchas, muchas veces, de forma independiente. Esto es reproducible R código para hacer eso para 100.000 pruebas independientes, utilizando la estimación binomial recomendada anteriormente :

trial <- function(n.trials, n=1, p1=1/2, p2=1/2) {
  x <- rmultinom(n.trials, n, c(p2,1-p2) %o% c(p1,1-p1))
  m <- x[1,]+x[2,] # Total who answer the second question
  mean <- x[1,]/m  # Proportion of "yeses" in the second question
  se <- sqrt(mean*(1-mean)/m)
  rbind(mean, se)  # Estimate and standard error of the estimate for each trial
}
set.seed(17)
sim <- trial(100000, 3031, 616/3031, 34/616)

La estimación media, mean(sim[1,) es $0.0551537$ : casi idéntico al valor correcto de $34/616 \approx 0.0551948$ en la población sintética. No hay prejuicios.

¿Qué le parece el procedimiento de intervalo de confianza aproximado? Podemos comprobar en cada uno de los 100.000 ensayos si el intervalo de confianza cubría el verdadero valor de $34/616$ o no:

coverage.upper <- sim[2,] * 1.65 + sim[1,] > 34/616
coverage.lower <- -sim[2,] * 1.65 + sim[1,] < 34/616
(sum(coverage.upper) + sum(coverage.lower))/100000 - 1

El resultado, $0.89542$ está dentro de la mitad del uno por ciento de la cobertura deseada de $0.90$ : es excelente, sobre todo teniendo en cuenta las aproximaciones que se hicieron.

Teniendo en cuenta estos datos (hipotéticos) podemos concluir legítimamente, entonces, que aproximadamente $5.52$ El % de las personas mayores de EE.UU. ha consumido drogas recreativas. Con $90$ % de confianza de que la proporción está entre $4$ % y $7$ %.

Answer 2

No, los 616 no constituyen una muestra aleatoria de la población. Se trata de un subconjunto específico que respondió afirmativamente a la pregunta 1a. ¿Se evalúa la calidad B sólo en esos 616 o se estudia también en los 2415 restantes? No hay una respuesta sencilla a su pregunta. Se podría hacer un bootstrap de los 3031 y para cada muestra de bootstrap se obtendría un subconjunto de los 616 que respondieron afirmativamente a la pregunta 1a y de ahí se obtendría un subconjunto de 34 con calidad B. El bootstrap te dará una distribución de porcentajes a partir de la cual podrías construir un intervalo de confianza bootstrap. Siento complicarlo, pero no veo una forma fácil.