Cuando es la inversa de la Información de Fisher exacto? (MLE)

Question

Sólo tengo una pregunta rápida sobre el MLE.

A veces, cuando se hace MLE problemas, veo que la varianza de la expresión conseguido a partir de la inversa de la de Fisher de la Información es exactamente igual a lo que debería ser, y a veces no. Hay una razón por la que para algunas distribuciones de este método es exacto? También, ¿por qué es que para algunas distribuciones, como por ejemplo $geom0(\pi)$, es difícil encontrar una fórmula exacta para $var(\tilde\pi)$?

Muchas gracias por tu ayuda!

EDITAR:

$Geom0(\pi)$ es la distribución geométrica donde el PMF es $(1-\pi)^y\pi$ donde $y=0,1,2,...\infty$ frente al $Geom1(\pi)$ donde el PMF es $(1-\pi)^{(y-1)}\pi$ donde $y=1,2,...\infty$. Lo siento por la confusión!

Answer 1

A veces, cuando se hace MLE problemas, veo que la varianza de la expresión conseguido a partir de la inversa de la de Fisher de la Información es exactamente igual a lo que debe ser y a veces no.

Todo depende de lo "exactamente como debe ser' significa ;)

En cualquier caso, creo que usted necesita para echar un vistazo a la Cramer-Rao obligado de nuevo. La inversa de la de fisher información sólo se da un límite inferior en la varianza de un estimador imparcial. Un estimador que lograr esto se llama un estimador eficiente, ya que tiene el más bajo posible de la varianza, mientras que ser imparcial.

Pero hay mucho de la imparcialidad de los peritos que no alcancen esta obligado. Hay un montón de estimadores que son parciales, pero todavía útil en la práctica. Por ejemplo, el estimador de máxima verosimilitud de la varianza es sesgada, pero todavía lo suficientemente bueno un montón de tiempo. Estos son probablemente lo que usted está encontrando.

En cuanto a por qué a veces es difícil encontrar una solución de forma cerrada de las estimaciones de la varianza, etc, sólo te voy a decir que sería muy sorprendente si cada distribución de probabilidad allí había agradable, forma cerrada expresiones para las cosas que nos interesan.