¿Explicación intuitiva de las propiedades deseables (imparcialidad, consistencia, eficiencia) de los estimadores estadísticos?

Question

Desde la literatura entiendo que las propiedades deseables de los estimadores estadísticos son

1. Desviación nula - queremos que el estimador dé el valor correcto del parámetro theta, en promedio, independientemente del tamaño de la muestra--definido por

2. Consistencia - queremos que tamaños de muestra más grandes den estimaciones progresivamente mejores del valor correcto del parámetro theta y converjan asintóticamente a theta en probabilidad--definido por

3. Eficiencia - queremos que el estimador no sesgado tenga la menor varianza posible--como se determina por el límite de Cramér-Rao. Sin embargo, estimadores eficientes no necesariamente existen en todas las situaciones.

Realmente no entiendo cada una de estas propiedades y la diferencia entre ellas. Por favor, explique el significado intuitivo de estas propiedades seguido por las matemáticas detrás de esto.

Enlace de referencia - https://www.cs.utah.edu/~suyash/Dissertation_html/node6.html

Answer 1

La imparcialidad significa que bajo las suposiciones sobre la distribución de la población, el estimador en muestreos repetidos será igual al parámetro de la población en promedio. Esta es una propiedad agradable para la teoría de estimadores imparciales de mínima varianza. Sin embargo, creo que se sobrevalora la imparcialidad. El error cuadrático medio es una buena medida de la precisión de un estimador. Iguala el cuadrado del sesgo del estimador más la varianza. A veces, los estimadores con un sesgo pequeño tienen un menor error cuadrático medio que los estimadores imparciales que tienen grandes varianzas.

Los estimadores sesgados pueden ser asintóticamente imparciales, lo que significa que el sesgo tiende a 0 a medida que el tamaño de la muestra aumenta. Si el estimador es tanto asintóticamente imparcial como la varianza tiende a 0 a medida que el tamaño de la muestra aumenta, entonces el estimador es consistente (en probabilidad). Técnicamente, en teoría de la medida, hay una diferencia entre la convergencia en probabilidad y la convergencia casi segura. El límite inferior de Cramer-Rao es un resultado matemático que muestra, en una familia paramétrica particular de distribuciones, que ningún estimador imparcial puede tener una varianza menor que el límite. Entonces, si puedes demostrar que tu estimador alcanza el límite inferior de Cramer-Rao, tienes un estimador eficiente.

Answer 2

Imagina apuntar a un objetivo. Si consistentemente llegas demasiado bajo al objetivo, tienes un sesgo. Si tus flechas están agrupadas de cerca, tienes una estimación eficiente. Puede que te interese o te divierta el poema de Maurice Kendall sobre el tema http://www.columbia.edu/~to166/hiawatha.html