Empirical Bayes: método de momentos

Question

El modelo para los datos es $X_{i}$ ~ $Bin(n_{i},\theta_{i})$ (iid, $i=1,...,k$). La distribución previa es $\theta_{i}$ ~ $Beta(\alpha,\beta)$.

¿Cómo elegimos (y deducimos) los estimadores de momentos para $\alpha$ y $\beta$ en este caso?

Answer 1

Primero, note que la combinación de una distribución Binomial para $X_i | n_i, \theta_i$ y una distribución Beta para $\theta_i | \alpha, \beta$ conduce directamente a una distribución Beta-Binomial para $X_i | n_i, \alpha, \beta$.

Los dos primeros momentos de la distribución Beta-Binomial son:

$$\mathbb{E}X_i = n_i {\alpha \over \alpha+\beta}$$ $$\sigma^2(X_i) = n_i{(\alpha+\beta+n_i)\alpha \beta \over (\alpha+\beta)^2(\alpha+\beta+1)}$$

La varianza se puede reescribir de la siguiente manera: $$\sigma^2(X_i) = {n_i(\alpha+\beta)\alpha \beta \over (\alpha+\beta)^2(\alpha+\beta+1)} + {n_i^2 \alpha \beta \over (\alpha+\beta)^2(\alpha+\beta+1)}$$ $$= {n_i\alpha \beta \over (\alpha+\beta)(\alpha+\beta+1)} + {n_i^2 \alpha \beta \over (\alpha+\beta)^2(\alpha+\beta+1)}$$

Definamos $X = \sum_{i=1}^kX_i$ y $n = \sum_{i=1}^kn_i$. Ahora, como los $X_i$ son independientes, sabemos que los dos primeros momentos de la suma de los $X_i$ son simplemente la suma de los dos primeros momentos de los $X_i$ individuales:

$$\mathbb{E}X = n {\alpha \over \alpha+\beta}$$ $$\sigma^2(X) = {n\alpha \beta \over (\alpha+\beta)(\alpha+\beta+1)} + {\alpha \beta \sum n_i^2 \over (\alpha+\beta)^2(\alpha+\beta+1)}$$

Igualar los momentos muestrales a los dos momentos anteriores da como resultado una ecuación que resuelve una estimación $\hat{\theta}$ de la proporción $\theta=\alpha / (\alpha+\beta)$ y otra ecuación más complicada que puede escribirse parcialmente en términos de $\hat{\theta}$, $n$ y $\sum n_i^2$.

$$\hat{\theta} = {\sum X_i \over n}$$ $$s^2(X_i) = {n\hat{\theta}\hat{\beta} +\hat{\theta}(1-\hat{\theta})\sum n_i^2 \over \hat{\alpha}+\hat{\beta}+1}$$

Algunas operaciones más, basadas en la relación $\hat{\beta} = (1-\hat{\theta})\hat{\alpha}/\hat{\theta}$ y sustitución, nos llevan a:

$$s^2(X_i) = {n(1-\hat{\theta})\hat{\alpha} +\hat{\theta}(1-\hat{\theta})\sum n_i^2 \over \hat{\alpha}+(1-\hat{\theta})\hat{\alpha}/\hat{\theta}+1}={n(1-\hat{\theta})\hat{\alpha} +\hat{\theta}(1-\hat{\theta})\sum n_i^2 \over \hat{\alpha}/\hat{\theta}+1}$$ $$=\hat{\theta}(1-\hat{\theta}){n\hat{\alpha} +\hat{\theta}\sum n_i^2 \over \hat{\alpha} + \hat{\theta}}$$ $$=n\hat{\theta}(1-\hat{\theta}){\hat{\alpha} +\hat{\theta}\sum n_i^2/n \over \hat{\alpha} + \hat{\theta}}$$

Y algunos pasos más llevan a: $${s^2(X_i) \over n\hat{\theta}(1-\hat{\theta})}\hat{\alpha} + \hat{\theta}=\hat{\alpha} +\hat{\theta}\sum n_i^2/n$$

$$\hat{\alpha} = \hat{\theta}\left(\sum n_i^2/n-1\right)\left({n\hat{\theta}(1-\hat{\theta})\over s^2(X_i)-n\hat{\theta}(1-\hat{\theta})}\right)$$

con alguna posibilidad de que haya estropeado el álgebra, a pesar de un par de comprobaciones.

Una vez que hayas llegado hasta aquí, encontrar $\hat{\beta}$ es sencillo. ¡Ten en cuenta que las estimaciones MOM no existirán si la varianza muestral es demasiado pequeña en relación con la media muestral! Esto se debe a que hay un límite en cuán pequeña puede ser la varianza poblacional; considera todos los $\theta_i = \theta$, entonces la varianza de los $X_i$ es simplemente $n_i\theta(1-\theta)$, pero la varianza muestral podría ser más pequeña por casualidad, lo que contradiría el cálculo que muestra que la varianza poblacional es mayor para cualquier valor de $\alpha, \beta$.