Encontrar la expectativa del recíproco de la media de la muestra

Question

Consideremos la siguiente distribución perteneciente a la familia exponencial.

$p_{\theta}(x) = \theta e^{-\theta x} $

La MLE que estima el $\theta$ es el parámetro

$\newcommand{\thetaMLE}{\hat{\theta}_{\mathrm{MLE}}}\thetaMLE = 1/\bar{X}$

donde $\bar{X}$ es la media de la muestra.

¿Cómo encontramos el sesgo de este estimador?

$\mathrm{bias}(\thetaMLE) = E[\thetaMLE] - \theta = E[1/\bar{X}] - \theta$

¿Cómo encontramos la expectativa del recíproco de la media muestral?

Answer 1

Primero se encuentra la distribución de la media de la muestra. La forma más sencilla de hacerlo es utilizar la función generadora de momentos. Para la distribución exponencial, tenemos

$$m_{X_i}(t)=E\left[\exp\left(tX_i\right)\right]=\left(1-\frac{t}{\theta}\right)^{-1}$$

Para la media muestral tenemos

$$m_{\overline{X}}(t)=E\left[\exp\left(t \overline{X}\right)\right]=E\left[\exp\left(tN^{-1}\sum_{i=1}^{N}X_i\right)\right]=E\left[\prod_{i=1}^{N}\exp(tN^{-1}X_{i})\right]$$

Debido a la independencia, podemos intercambiar las operaciones de producto y expectativa. por lo que obtenemos.

$$m_{\overline{X}}(t)=\prod_{i=1}^{N}E\left[\exp(tN^{-1}X_{i})\right]=\prod_{i=1}^{N}m_{X_i}(tN^{-1})=\left(1-\frac{t}{N\theta}\right)^{-N}$$

Esta es la función generadora de momentos de una distribución gamma con parámetro de forma $N$ y el parámetro de escala inversa $N\theta$ que tiene un valor medio de $\frac{1}{\theta}$ mostrando que la MLE es insesgada para el parámetro $\beta=\frac{1}{\theta}$ .

Ahora simplemente tomamos el valor esperado de $\frac{1}{\overline{X}}$ donde $\overline{X}\sim Gamma(N,N\theta)$ que viene dado por:

$$E\left(\frac{1}{\overline{X}}\right)=\int_0^{\infty}\frac{1}{\overline{X}}f(\overline{X})d\overline{X}=\int_0^{\infty}\frac{1}{\overline{X}}\frac{(N\theta)^N \overline{X}^{N-1}\exp(-N\theta \overline{X})}{\Gamma(N)}d\overline{X}$$

En la integral, haz el cambio de variables $t=N\theta \overline{X}\implies dt=N\theta d\overline{X}$ y obtenemos

$$E\left(\frac{1}{\overline{X}}\right)=\frac{1}{\Gamma(N)}\int_0^{\infty}\frac{N\theta}{t}t^{N-1}\exp(-t)dt$$

$$=\frac{N\theta}{\Gamma(N)}\int_0^{\infty}t^{N-2}\exp(-t)dt=\frac{N\theta\Gamma(N-1)}{\Gamma(N)}=\frac{N\theta}{N-1}$$

Siempre que $N\neq 1$ De lo contrario, la expectativa no existe (y, por tanto, tampoco el sesgo). Así que tienes un sesgo de:

$$E\left(\frac{1}{\overline{X}}-\theta\right)=\frac{\theta}{N-1}$$