Si algunos estimador de máxima verosimilitud (MLE) resulta ser imparcialidad (que no necesariamente se mantiene), entonces logra el Límite inferior de Cramer-Rao (CRLB) incluso en la muestra finita? (Lo hace cuando el parámetro a estimar es la media de alguna distribución normal, o Poisson, o binomial, por ejemplo).
Creo que debe haber algún MLE que sea insesgado pero que no alcance el CRLB, pero no podría dar un ejemplo. Así que me pregunto si la afirmación es realmente válida.
Se puede dar un ejemplo, cuando tenemos una especificación errónea.
Supongamos que tenemos una muestra i.i.d. de tamaño $n$ de variables aleatorias siguiendo la Medio normal distribución. La densidad y los momentos de esta distribución son
$$f_H(x) = \sqrt{2/\pi}\cdot \frac 1{v^{1/2}}\cdot \exp\big\{-\frac {x^2}{2v}\big\}\\ E_H(X) = \sqrt{2/\pi}\cdot v^{1/2}\equiv \mu_x,\;\; \operatorname{Var}_H(X) = \left(1-\frac 2{\pi}\right)v$$
La log-verosimilitud de la muestra es
$$L(v\mid \mathbf x) = n\ln\sqrt{2/\pi}-\frac n2\ln v -\frac {1}{2v}\sum_{i=1}^nx_i^2$$
Las derivadas primera y segunda con respecto a $v$ son
$$\frac {\partial}{\partial v}L(v\mid \mathbf x) = -\frac n{2v} + \frac {1}{2v^2}\sum_{i=1}^nx_i^2,\;\; \frac {\partial^2}{\partial v^2}L(v\mid \mathbf x) = \frac n{2v^2} - \frac {1}{v^3}\sum_{i=1}^nx_i^2$$
Así que la información de Fisher para el parámetro $v$ es
$$\mathcal I(v) = -E\left[\frac {\partial^2}{\partial v^2}L(v\mid \mathbf x)\right] = -\frac n{2v^2} + \frac {1}{v^3}\sum_{i=1}^nE(x_i^2) = -\frac n{2v^2} + \frac {n}{v^3}E(X^2)$$
$$=-\frac n{2v^2} + \frac {n}{v^3}\left[\operatorname{Var}(X)+\left(E[X])^2\right)\right] = -\frac n{2v^2} + \frac {n}{v^3}v$$
$$\Rightarrow \mathcal I(v) = \frac n{2v^2}$$
La información de Fisher para la media $\mu_x$ es entonces
$$\mathcal I (\mu_x) = \mathcal I(v) \cdot \left(\frac {\partial \mu_x}{\partial v}\right)^{-2} = \frac n{2v^2}\cdot \left(\sqrt{2/\pi}\frac 12 v^{-1/2}\right)^{-2} = \frac {n\pi}{v}$$
y por tanto el límite inferior de Cramer-Rao para la media es
$$CRLB (\mu_x) = \left[\mathcal I (\mu_x)\right]^{-1} = \frac {v}{n\pi}$$
Supongamos ahora que queremos estimar la media por máxima verosimilitud, pero cometemos un error: suponemos que estas variables aleatorias siguen una distribución exponencial con densidad
$$g(x) = \frac 1{\beta}\cdot \exp\big\{-(1/\beta)x\big\}$$ La media aquí es igual a $\beta$ y el estimador de máxima verosimilitud será
$$\hat \beta_{mMLE} = \hat E(X)_{mMLE} = \frac 1n\sum_{i=1}^nx_i$$ donde las minúsculas $m$ denota que este estimador se basa en una densidad mal especificada. No obstante, sus momentos deben calcularse utilizando la verdadera densidad que el $X$ 's realmente siguen. Entonces vemos que este es un estimador insesgado, ya que
$$E_H[\hat E(X)_{mMLE}] = \frac 1n\sum_{i=1}^nE_H[x_i] = E_H(X) = \mu_x$$
mientras que su varianza es
$$\operatorname{Var}(\hat E(X)_{mMLE}) = \frac 1n\operatorname{Var}_H(X) = \frac 1n\left(1-\frac 2{\pi}\right)v$$
Esta varianza es mayor que el límite inferior de Cramer-Rao para la media porque
$$ \operatorname{Var}(\hat E(X)_{mMLE}) = \frac 1n\left(1-\frac 2{\pi}\right)v > CRLB (\mu_x) = \frac {v}{n\pi} $$
$$\Rightarrow 1-\frac 2{\pi} > \frac {1}{\pi} \Rightarrow 1 > \frac 3{\pi}$$
que se mantiene. Por lo tanto, tenemos una MLE que es insesgada pero no alcanza el límite inferior de Cramer-Rao para la magnitud que estima. Su eficiencia es
$$\frac {CRLB (\mu_x)}{\operatorname{Var}(\hat E(X)_{mMLE})} = \frac {\frac {v}{n\pi}}{\frac 1n\left(1-\frac 2{\pi}\right)v} = \frac 1{\pi - 2} \approx 0.876$$
Nótese que el MLE para la media bajo la especificación correcta está sesgado, con un sesgo hacia abajo.
Esto puede ser útil (adaptado de "Theory of Point Estimation" 2e de Lehmann y Casella, sección 2.5 sobre la desigualdad de información)
Supongamos que el parámetro vive en $\Omega$ que es un intervalo abierto (podría ser infinito), tal que $P_\theta$ tiene un apoyo común $A$ independiente de $\theta$ y $\frac{\partial p_\theta (x)}{\partial \theta}$ existe y es finito para cualquier $x\in A$ y $\theta in \Omega$ .
Teorema (similar a 2.5.12): Supongamos que $\delta$ es un estimador insesgado de $\theta$ con varianza finita bajo cualquier $\theta \in \Omega$ . Entonces, $\delta$ alcanza el CRLB si existe una función cont. diferenciable $\phi(\theta)$ tal que $p_\theta (x) = C(\theta) e^{\psi(\theta) \delta(x)} h(x)$ es una densidad (es decir $p_\theta$ constituye una familia exponencial).
Hay otros teoremas similares citados en la misma sección.
Consideremos una distribución simétrica apoyada en $(-1/2,1/2)$ , $f(x)$ que es suficientemente suave con un pico único en $0$ . Entonces, para $\theta \in \mathbb{R}$ consideremos la familia de distribuciones $p_\theta (x) = f(x - \theta)$ . La información de Fisher es $\int_{-1/2}^{1/2} \left( \frac{f'(x)}{f(x)}\right)^2 f(x) dx$ .
Considere el caso de un ejemplo. La MLE es la muestra que se observa, así que tenemos que ver si $var(X) > \frac{1}{\int_{-1/2}^{1/2} \left( \frac{f'(x)}{f(x)}\right)^2 f(x) dx}$ .
Considere $f(x) = -6(x+1/2)*(x-1/2)$ en $(-1/2,1/2)$ . El LHS es 1/20. El lado derecho es $0$ .
I-Ciencias es una comunidad de estudiantes y amantes de la ciencia en la que puedes resolver tus problemas y dudas.
Puedes consultar las preguntas de otros usuarios, hacer tus propias preguntas o resolver las de los demás.
