Encontrar el UMVUE de las variables aleatorias de Bernoulli

Question

Dado i.i.d. Bernoulli $\left(\theta\right)$ r.v.s $X_1, X_2, ...,X_n$ me piden que resuelva el UMVUE de $\left(1\theta\right)^2$ para el caso $n=4$ .

Creo que $\sum X_i$ es mi estadística suficiente (y creo que completamente suficiente) a partir del uso del Teorema de la Factorización, pero estoy teniendo problemas para proceder a partir de ahí.

Sé que tengo que utilizar el teorema de Rao-Blackwell, pero no estoy exactamente seguro de cómo se deduce. ¡Agradecería cualquier consejo!

Answer 1

La idea es que se puede empezar con cualquier estimador de $(1-\theta)^2$ No importa lo horrible que sea, siempre que sea imparcial. El proceso Rao-Blackwell lo convertirá casi por arte de magia en un estimador insesgado de varianza mínima uniforme (UMVUE).

Hay muchas formas de proceder. Una idea fructífera es sistemáticamente para eliminar las complicaciones en la expresión " $(1-\theta)^2$ ". Esto lleva a una secuencia de preguntas:

1. Cómo encontrar un estimador insesgado de $(1-\theta)^2$ ?

2. Cómo encontrar un estimador insesgado de $1-\theta$ ?

3. Cómo encontrar un estimador insesgado de $\theta$ ?

La respuesta a (3), al menos, debería ser obvio: cualquier de la $X_i$ será un estimador insesgado porque

$$\mathbb{E}_\theta(X_i) = \theta.$$

(No importa cómo se llegue a este estimador: por conjetura y comprobación (que a menudo funciona), Máxima Verosimilitud, o lo que sea. Por cierto, el ML no suele ser útil porque tiende a producir estimadores sesgados. Lo que es útil es la extrema simplicidad de trabajar con una sola observación en lugar de un montón de ellas).

La linealidad de la expectativa nos dice una respuesta a (2) sería cualquiera de los $1 - X_i$ porque

$$\mathbb{E}_\theta(1-X_i) = 1 - \mathbb{E}_\theta(X_i) = 1-\theta.$$

Pasar de esto a una respuesta a (1) es el quid de la cuestión. En algún momento tendrás que explotar el hecho de que tienes más de una realización independiente de esta variable Bernoulli, porque rápidamente se hace obvio que una sola $0-1$ la observación no puede decir mucho. Por ejemplo, el cuadrado de $1-X_1$ no funcionará, porque (ya que $(1-X_1)^2 = (1-X_1)$ )

$$\mathbb{E}_\theta((1-X_1)^2) = 1-\theta.$$

¿Qué se puede hacer con dos de las observaciones, como $X_1$ y $X_2$ ? Un poco de reflexión podría sugerir considerar su producto. Y así es, porque $X_1$ y $X_2$ son independientes, sus expectativas se multiplican:

$$\mathbb{E}_\theta((1-X_1)(1-X_2)) = \mathbb{E}_\theta((1-X_1))\mathbb{E}_\theta((1-X_2)) = (1-\theta)(1-\theta)=(1-\theta)^2.$$

Ya estás listo para ir: aplicar el proceso Rao-Blackwell a la imparcialidad estimador $T=(1-X_1)(1-X_2)$ para obtener un UMVUE. (Es decir, encontrar su expectativa condicionada a $\sum X_i$ .) Me detengo aquí para que te diviertas descubriendo la respuesta por ti mismo: es maravilloso ver qué tipo de fórmulas pueden surgir de este proceso.

---

Para ilustrar el cálculo tomemos el caso más sencillo de tres en lugar de cuatro, $X_i$ . La suma $S=X_1+X_2+X_3$ cuenta cuántos de los $X_i$ igual $1$ . Mira las cuatro posibilidades:

1. Cuando $S=0$ , todos los $X_i=0$ y $T = 1$ constantemente, de donde $\mathbb{E}(T\,|\,S=0)=1$ .

2. Cuando $S=1$ Hay tres configuraciones posibles del $X_i$ : $(1,0,0)$ , $(0,1,0)$ y $(0,0,1)$ . Todos son igualmente probables, dando a cada uno una oportunidad de $1/3$ . El valor de $T$ es $0$ para los dos primeros y $1$ para el último. Por lo tanto,

   $$\mathbb{E}(T\,|\,S=1) = \left(\frac{1}{3}\right)\left(0\right)+\left(\frac{1}{3}\right)\left(0\right)+\left(\frac{1}{3}\right)\left(1\right) = \frac{1}{3}.$$

3. Cuando $S=2$ o $S=3$ , $T=0$ sin importar el orden de los $X_i$ aparecen en, dando $0$ para la expectativa condicional.

La versión Rao-Blackwellizada de $T$ , entonces, es el estimador que asocia a la suma $S$ las siguientes conjeturas para $\theta$ :

$$\tilde T(0)=1,\ \tilde T(1)=1/3,\ \tilde T(2)=\tilde T(3)=0.$$

Como comprobación, la expectativa de $\tilde T$ puede calcularse como

$$\eqalign{ \mathbb{E}(\tilde T) &= \Pr(S=0)\tilde{T}(0) + \Pr(S=1)\tilde{T}(1) + \Pr(S=2)\tilde{T}(2) + \Pr(S=3)\tilde{T}(3) \\ &= (1-\theta)^3 + \binom{3}{1}\theta(1-\theta)^2\left(1/3\right) + 0 + 0 \\ &= 1 - 3 \theta + 3 \theta^2 - \theta^3 + 3(1/3)(\theta - 2\theta^2 + \theta^2) \\ &= 1 - 2\theta + \theta^2 \\ &=(1-\theta)^2, }$$

demostrando que es imparcial. Un cálculo similar permitirá obtener su varianza (que es útil conocer, ya que se supone que es la menor varianza posible entre los estimadores insesgados).

Obsérvese que estos cálculos requerían poco más que aplicar la definición de expectativa y calcular las probabilidades binomiales.