Margen de error, si todas las respuestas son idénticas

Question

Si hago una encuesta a 10 personas (con una pregunta sí/no) y todas responden "sí", ¿debo decir que el porcentaje de respuestas "no" (en el conjunto de la población) es "cero más o menos cero", o simplemente confiar en que es "menos de una de cada cinco"?

Lo pregunto porque utilizando la fórmula del "margen de error" (o "error típico de la proporción") sqrt[p(1-p)/n] parecería, contraintuitivamente, que el intervalo de confianza se estrecha a cero (independientemente de lo escasas que sean las muestras) cuando la proporción de la muestra es 0 ó 1.

Answer 1

Si lanzo una moneda al aire con probabilidad de cara $=0,$ entonces en $n$ volteretas conseguiré $0$ cabezas con una desviación típica de $0$ . No pasa nada. Pero la moneda puede tener en cambio una probabilidad distinta de cero de salir cara, pero por suerte no he obtenido ninguna cara en la muestra.

La fórmula que da se utiliza para un gran $n$ aproximación normal (CLT) a la binomial. En su lugar, podemos utilizar una prueba binomial exacta para valores pequeños de $n$ . Sea $q=$ proporción de votantes del "sí" en la población. Queremos ver qué valores de $q$ son plausibles dado que vimos $10$ de $10$ "respuestas afirmativas. $q$ cerca de $1$ es muy probable mientras que $q$ pequeño, cerca de $0$ es muy improbable. Formalmente, una prueba de hipótesis:

Supongamos que queremos hacer una prueba: $$H_0: q= 0.741 \text{ versus } H_a: q\gt 0.741 $$ Esta es una prueba de cola superior. Si queremos hallar el valor p correspondiente al resultado observado de todos los $10$ "sí", entonces obtenemos $0.741^{10}=0.05$ (por eso elegí $0.741$ ). Si hubiéramos utilizado $0.795$ o $0.631$ obtendríamos $0.795^{10}=0.10$ y $0.631^{10}=0.01.$

Si utilizamos el error tipo I habitual $\alpha=0.05$ entonces estamos justo en el límite con la hipótesis nula establecida y rechazaremos la nula y concluiremos la alternativa $q\gt 0.741$ es una afirmación más plausible. Por lo tanto, el intervalo para la proporción de "sí" sería $(0.741,1)$ o el intervalo para la proporción de "no" como $(0,0.259).$ Si quieres ser aún más conservador, podríamos informar $(0,0.369)$ por "no" utilizando un $1$ % error tipo I.

Answer 2

Un simple cálculo bayesiano da que si se asume antes del sondeo que la probabilidad $p$ de un sí se distribuye uniformemente en [0,1], entonces obtener 10 sí de una muestra de 10 elegida aleatoriamente da una distribución posterior con la probabilidad de que $p>k$ como $1-k^{11}$ .

Así que para $k=0.8$ (lo que corresponde a menos de uno de cada cinco votantes del no) tiene un 91,4% de confianza.

Por supuesto, en la práctica es muy improbable que se haya muestreado con éxito a 10 personas al azar de la población pertinente, por lo que el cálculo se complica.

De todos modos, cualquier usuario será profundamente escéptico. El mismo enfoque da un 99,6% de probabilidad posterior de que $p>0.6$ . Pero en la práctica consideraría que 10 de cada 10 votos son una prueba bastante tenue de ello. Si se tratara de una cuestión política, por ejemplo, sólo un aficionado encuestaría a 10 personas y cualquier tercero dudaría de su competencia/su falta de parcialidad.