Voltear monedas identificables por lotes

Question

He recopilado datos para estimar un parámetro y ahora estoy desconcertado sobre cómo generar intervalos de confianza:

Configuración:

1) Tenemos una bolsa con $N$ monedas.
2) Cada moneda $i \in N$ tiene un conocido probabilidad de $q_i$ por ser recogido de la bolsa.
3) Cada moneda $i \in N$ tiene un desconocido probabilidad $p_i$ de mostrar cara cuando se le da la vuelta.
4) Cogemos una moneda de la bolsa, la lanzamos $K$ horas y nota $h_i = $ número de veces $i$ salió cara. Luego volvemos a meter la moneda en la bolsa.
5) Repetimos el paso 4) $M$ veces. Es posible que se saque una moneda y se vuelva a lanzar, pero lo reconocería.

Quiero estimar la media poblacional $$ p= \sum_{i \in N} q_i \cdot p_i $$ y dar un intervalo de confianza.

Sé que podría estimar $p_i$ con $\hat{p}_i = \frac{h_i}{K}$ ya que $h_i$ se distribuye binomialmente con parámetros $(K,p_i)$ . Por supuesto, esto sólo es posible si $i$ fue recogido de la bolsa en algún momento, y si $i$ fue elegido más de una vez, tendría que añadir el $h$ y dividir por $2K$ , $3K$ etc.

Me doy cuenta de que $$ \hat{p} = \frac{1}{M} \sum_{m=1}^{M} \hat{p}_m $$ es un estimador insesgado de $p$ donde $\hat{p}_m$ es el parámetro estimado para la moneda extraída en el $m$ La tercera ronda. Pero no sé cómo construir el intervalo de confianza a su alrededor.

En mi conjunto de datos,
- $N = 10^{10}$ (realmente grande),
- la $q_i$ son computables, pero preferiría no tener que calcularlos si puedo evitarlo,
- $K=1000$ ,
- $p_i = 0$ más de la mitad del tiempo,
- $M=10000$ .

Answer 1

Se trata de un problema interesante. Parece que encontrar una solución analítica para los intervalos de confianza será muy difícil, así que yo intentaría buscar estimaciones razonables.

Yo empezaría por tratar el $\hat p_i$ como muestras i.i.d. de una población con media y varianza desconocidas. Esto le daría intervalos de confianza de $$\hat\mu\pm z\frac{\hat\sigma}{\sqrt n},$$ donde $\hat\mu$ y $\hat\sigma$ son la desviación típica media de la muestra, $n$ es el tamaño de la muestra (su $M$ ) y $z$ es el $z$ -(es decir, para una confianza del 95% de dos caras, $z_{0.05}=1.96$ ).

La precisión de este intervalo de confianza dependerá de la validez de la hipótesis de normalidad implícita. En este caso, hay algunos puntos a su favor:

1. El tamaño de la muestra es grande
2. Los valores de $\hat p_i$ están limitados por $[0,1]$
3. $p_i=0$ más de la mitad del tiempo.

La combinación de estos tres hechos justifica el uso de la hipótesis de normalidad al menos para el intervalo de confianza inferior. Esto se debe a que, el hecho de que $p_i=0$ más de la mitad de las veces implica que la muestra contendrá un gran número de valores con $\hat p_i=0$ por lo que la muestra abarcará toda la cola inferior de la distribución. El supuesto de normalidad suele romperse cuando hay colas muy largas en la distribución de la población que no aparecen en una muestra (atención, no es una afirmación rigurosa). Si además se pudiera garantizar que, digamos $p_i>0.5$ como mínimo $5\%$ del tiempo, entonces estarías seguro en ambos extremos.

Sin embargo, el intervalo de confianza superior podría ser problemático en situaciones en las que la media muestral $\hat\mu$ está muy cerca de $0$ . Consideremos, por ejemplo, el caso extremo en el que todos los $p_i$ son iguales a $0$ excepto uno: $p_1=1$ . En función de la probabilidad $q_1$ asociada a esta bola, podríamos fácilmente tener un caso en el que, con probabilidad, digamos $0.5$ esta bola nunca se extrae durante la muestra, en cuyo caso tendríamos $\hat \mu=0$ pero el intervalo de confianza no sería válido.

Para abordar este caso específico, podemos construir explícitamente un intervalo de confianza cuando la media muestral es $0$ . Si el peso total asignado a las bolas distintas de cero es $q$ podemos ver que la probabilidad de nunca muestrear tal bola es, $(1-q)^M$ y para que la probabilidad sea menor que, digamos $0.05$ debemos tener $q\geq 1-0.05^{1/M}$ .

De ello se deduce que, si $\hat\mu=0$ entonces podemos decir con $95\%$ confianza en que la probabilidad de que una sola ronda del experimento devuelva un valor distinto de cero es, como máximo, de $1-0.05^{1/M}$ lo que significa que, con $95\%$ de confianza, la verdadera media se encuentra en el intervalo $$[0,1-0.05^{1/M}].$$ Para sus constantes específicas, esto daría un intervalo de $[0,0.0003]$ .

Por supuesto, existen escenarios intermedios. Como regla general, si la media muestral $\hat\mu$ está limitada fuera de $0$ entonces los intervalos de confianza estándar deberían ser bastante precisos, y cuanto más se acerquen a $0$ que $\hat\mu$ es, más tienes que preocuparte. Estaría tentado de sugerir algo como $$[\hat\mu- z_\alpha\frac{\hat\sigma}{\sqrt n}, \hat\mu+ z_\alpha\frac{\hat\sigma}{\sqrt n} + 1-\alpha^{1/M}] $$ como un "out-of-the-box" $1-\alpha$ intervalo de confianza, pero sin un examen más detallado, no estoy totalmente seguro de que esto funcione bien en situaciones en las que $\hat\mu$ es pequeño pero distinto de cero.