¿Cuál es la diferencia entre un estimador consistente y un estimador insesgado?

Question

¿Cuál es la diferencia entre un estimador consistente y un estimador insesgado?

Las definiciones técnicas precisas de estos términos son bastante complicadas, y es difícil hacerse una idea intuitiva de su significado. Puedo imaginarme un buen estimador y un mal estimador, pero me cuesta ver cómo cualquier estimador puede satisfacer una condición y no la otra.

Answer 1

Para definir los dos términos sin utilizar un lenguaje demasiado técnico:

• Un estimador es consistente si, a medida que aumenta el tamaño de la muestra, las estimaciones (producidas por el estimador) "convergen" al valor verdadero del parámetro que se está estimando. Para ser un poco más precisos, la coherencia significa que, a medida que aumenta el tamaño de la muestra, la distribución muestral del estimador se concentra cada vez más en el verdadero valor del parámetro.

• Un estimador es imparcialidad si, por término medio, alcanza el verdadero valor del parámetro. Es decir, la media de la distribución muestral del estimador es igual al verdadero valor del parámetro.

• Los dos no son equivalentes: Imparcialidad es una declaración sobre el valor esperado de la distribución muestral del estimador. Consistencia es una afirmación sobre "hacia dónde va la distribución muestral del estimador" a medida que aumenta el tamaño de la muestra.

Ciertamente, es posible que se cumpla una condición pero no la otra; daré dos ejemplos. Para ambos ejemplos, considere una muestra $X_1, ..., X_n$ de un $N(\mu, \sigma^2)$ población.

• Imparcial pero no consistente: Suponga que está estimando $\mu$ . Entonces $X_1$ es un estimador insesgado de $\mu$ desde $E(X_1) = \mu$ . Pero, $X_1$ no es consistente ya que su distribución no se concentra en torno a $\mu$ a medida que aumenta el tamaño de la muestra - siempre es $N(\mu, \sigma^2)$ ¡!

• Consistente pero no imparcial: Suponga que está estimando $\sigma^2$ . El estimador de máxima verosimilitud es $$ \hat{\sigma}^2 = \frac{1}{n} \sum_{i=1}^{n} (X_i - \overline{X})^2 $$ donde $\overline{X}$ es la media de la muestra. Es un hecho que $$ E(\hat{\sigma}^2) = \frac{n-1}{n} \sigma^2 $$ que puede derivarse utilizando la información aquí . Por lo tanto, $\hat{\sigma}^2$ está sesgada para cualquier tamaño de muestra finito. También podemos derivar fácilmente que $${\rm var}(\hat{\sigma}^2) = \frac{ 2\sigma^4(n-1)}{n^2}$$ De estos hechos podemos ver informalmente que la distribución de $\hat{\sigma}^2$ se concentra cada vez más en $\sigma^2$ a medida que aumenta el tamaño de la muestra, ya que la media converge a $\sigma^2$ y la varianza converge a $0$ . ( Nota: Esto sí constituye una prueba de consistencia, utilizando el mismo argumento que el empleado en la respuesta aquí )

Answer 2

Puede que llegue 7 meses tarde pero acabo de encontrarme con este hilo. Me pareció un gran tutorial ya que me hacen esta pregunta todo el tiempo, y el intercambio muestra las trampas en las intuiciones que carecen de la formación en el análisis real. Pero quería que se añadiera alguna discusión explícita sobre la convergencia en la distribución y el uso de estimadores puntuales para centrar los intervalos de confianza de Wald (por ejemplo, estimar -/+ 1,96 SEs). Esto es lo que digo y espero que se corrija si es necesario: La teoría asintótica estándar de los IC, que es el pilar de las aplicaciones de salud y ciencias sociales, depende de la convergencia en la distribución, no de la convergencia en la probabilidad (como se focaliza en la estimación puntual) que no garantiza nada sobre la cobertura de los IC de Wald: Los estimadores de contraejemplo de Cardinal no podrían utilizarse para centrar ICs de Wald válidos y asintóticos, que necesitan un centro asintóticamente insesgado. Pero entonces los mejores IC no se basan en estimadores puntuales; por lo tanto, en mi opinión, la teoría de los IC se entiende mejor como inversión de pruebas o resumen de una función de valor P, ya que eso conduce a mejores IC aproximados de muestras finitas que los intervalos de Wald (por ejemplo, intervalos de puntuación y de probabilidad de perfil). Y las muestras finitas son todo lo que tenemos en la práctica.

Answer 3

La consistencia de un estimador significa que, a medida que aumenta el tamaño de la muestra, la estimación se acerca cada vez más al valor real del parámetro. La insesgadez es una propiedad de la muestra finita que no se ve afectada por el aumento del tamaño de la muestra. Una estimación es insesgada si su valor esperado es igual al valor verdadero del parámetro. Esto será cierto para todos los tamaños de muestra y es exacto, mientras que la consistencia es asintótica y sólo es aproximadamente igual y no exacta.

Decir que un estimador es insesgado significa que si se toman muchas muestras de tamaño $n$ y calculamos la estimación cada vez, la media de todas estas estimaciones se acercará al verdadero valor del parámetro y se acercará más a medida que aumente el número de veces que se haga esto. La media de la muestra es consistente e insesgada. La estimación muestral de la desviación estándar es sesgada pero consistente.

Actualización tras la discusión en los comentarios con @cardinal y @Macro: Como se describe a continuación, hay casos aparentemente patológicos en los que la varianza no tiene que llegar a 0 para que el estimador sea fuertemente consistente y el sesgo tampoco tiene que llegar a 0.

Answer 4

Si tomamos una muestra de tamaño $n$ y calcular la diferencia entre el estimador y el parámetro verdadero, esto da una variable aleatoria para cada $n$ . Si tomamos la secuencia de estas variables aleatorias como $n$ aumenta, la consistencia significa que tanto la media como la varianza van a cero a medida que $n$ llega al infinito. Insesgado significa que esta variable aleatoria para un determinado $n$ tiene una media de cero.

Así que una de las diferencias es que el sesgo es una propiedad para un $n$ mientras que la coherencia se refiere al comportamiento como $n$ va al infinito. Otra diferencia es que el sesgo sólo tiene que ver con la media (un estimador insesgado puede estar muy equivocado, siempre que los errores se cancelen en promedio), mientras que la consistencia también dice algo sobre la varianza.

Un estimador puede ser insesgado para todo $n$ pero inconsistente si la varianza no llega a cero, y puede ser consistente pero sesgada para todo $n$ si el sesgo de cada $n$ es distinto de cero, pero va a cero. Por ejemplo, si el sesgo es $\frac 1 n$ el sesgo es ir a a cero, pero nunca es igual a cero; una secuencia puede tener un límite al que nunca llega.