¿Qué es un estimador imparcial y la utilidad de la información del pescador?

Question

Yo soy de auto aprendizaje de la teoría de la estimación, y descubrir que es muy difícil de comprender la utilidad de Cramer Rao límite Inferior. En los libros de texto y tutoriales en línea siempre digo que uno debe derivar el CRLB del estimador. Si la varianza del estimador es mayor que igual a la inversa de la información de Fisher, luego nos dicen que no hay otro mejor estimador existe. La inversa de la información de Fisher es el CRLB. Si la varianza es igual a la CRLB, entonces el estimador es eficiente. Intuitivamente, un estimador es nada sino una fórmula o una expresión que se utiliza para encontrar un valor desconocido/ parámetro.

1) ¿hay una mejor manera intuitiva para explicar lo que CRLB enlazado nos dice y por qué la necesitamos?

2) ¿Qué se entiende por un sistema eficiente de estimador y la eficiencia para hacer qué? ¿Con qué se compara la eficiencia de un estimador. Estas preguntas pueden ser trivial, pero me pareció muy difícil extraer la información clave de la gran matemático cosas pesadas.

3) ¿debemos descartar el estimador si ineficientes?

Por favor me corrija si alguna información es incorrecta. Gracias.

Answer 1

La Cramer Rao obligado es fundamental para el estudio de las estadísticas, voy a tratar de explicar por qué sin el uso de una gran cantidad de símbolos. Un estimador hace exactamente eso: estimaciones. La vista de los datos que hemos visto ¿qué opinas de un determinado parámetro que realmente es. Ahora, pensando en los estimadores de uno puede preguntarse si no son mejores que otros. Han se dio cuenta de que la gente no le gusta la alta varianza de las cosas? Hay una extraña sensación cuando algo cambia un montón. El estudio de la estadística que sigue como un principio tratando de reducir la varianza. ¿No sería agradable si usted podría encontrar entre todos los posibles imparcial estimadores del parámetro, uno con un mínimo de variación? I. e. uno que parece más sólido y estable? Que es el resultado de Cramer y Rao, no sólo les digo que hay un límite inferior para la varianza, que diga cómo se calcula.

Answer 2

Por favor, empiece por buscar en la principal respuesta (por @Aprendiz) a esta pregunta. Entonces tengo un ejemplo sencillo que puede ayudar a ilustrar.

Considerar el problema de la estimación de la probabilidad de éxito $\theta$ de la distribución $\mathsf{Binom}(n, \theta)$ utilizando la información de $n$ ensayos. El estimador de máxima verosimilitud de $\theta$ $\hat \theta = X/n,$ donde $X$ es el número observado de éxitos.

El PDF de $X$ $$f(x\,|\,\theta) = {n \choose x}\theta^x(1-\theta)^{n-x},$$ para $x = 0, 1, \dots, n.$ $n$ $\theta,$ el PDF le permite calcular el $P(X = x).$

Visto como una función de $\theta$ observados $x$ esta misma relación es conocida como la función de probabilidad. $$\ell(x\,|\,\theta) = {n \choose x}\theta^x(1-\theta)^{n-x} \propto \theta^x(1-\theta)^{n-x},$$ para $0 \le \theta\le 1.$ El símbolo $\propto$ ("proporcional") indica que para observaron $x$ el factor constante ${n \choose x}$ ha sido omitido. Muchos autores de tomar el punto de vista de que la probabilidad función está definida sólo 'a una constante positiva'. Entonces el estimador de máxima verosimilitud (MLE) de $\theta$ se encuentra por la maximización de las $\ell(x\,|\,\theta)$.

Supongamos $n = 5$ $x = 2.$ el MLE $\hat \theta = 0.4$ es el valor de $\theta$ que maximiza la curva en el panel de la izquierda de la siguiente figura. También, si $n=50$ $x = 20,$ a continuación, de nuevo el MLE $\hat \theta = 0.4.$

Pero hay más 'información' en 50 observaciones que en cinco, por lo que el probabilidad de la curva en el panel de la derecha tiene una nitidez máxima.

La segunda derivada de la curva cerca de $\hat \theta = 0.4$ es mayor en la derecha. Muy a grandes rasgos, la información de Fisher da a la espera la curvatura.