¿Un ejemplo más inteligente de estimador sesgado pero consistente?

Question

Estoy tratando de conseguir una comprensión intuitiva de por qué existe un estimador sesgado pero consistente.

Supongamos que $X_i \sim \mathcal{N}(\mu, 1)$ . Un ejemplo que encontré es este:

$$W_n(X_1,\cdots,X_n) = \frac{1}{n} \sum_{i=1}^n X_i + \frac{1}{n}$$

Veo que $W_n$ está sesgada debido a la $\frac{1}{n}$ término, pero es coherente. Sin embargo, creo que este ejemplo es algo "tonto" porque poca gente utilizaría $W_n$ para estimar $\mu$ .

¿Tenemos algún otro ejemplo de estimador sesgado pero consistente $W_n$ ¿dónde es más probable que la gente lo utilice?

Answer 1

Esta es una de las más sencillas.

Considere una población uniforme con límite superior desconocido

$$ X \sim U(0, \theta) $$

Un simple estimador de $\theta$ es el máximo de la muestra

$$ \hat \theta = \max(x_1, x_2, \ldots, x_n) $$

Se trata de un estimador sesgado. Con un poco de matemáticas puede demostrar que

$$ E[\hat \theta] = \frac{n}{n+1} \theta $$

Que es un poco más pequeño que $\theta$ sí mismo.

Esto también demuestra que el estimador es consistente, ya que $\frac{n}{n+1} \rightarrow 1$ como $n \rightarrow \infty$ .

Un natural imparcialidad El estimador del máximo es el doble de la media de la muestra. Puedes demostrar que este estimador insesgado tiene una varianza mucho mayor que el ligeramente sesgado de arriba.

Answer 2

Un estimador consistente pero sesgado muy utilizado es el de la desviación estándar estimada.

Si estamos ante una situación simple en la que nuestros datos se distribuyen como $x_i \sim N(\mu, \sigma^2)$ entonces a veces la estimación MLE de $\sigma$ se utiliza, es decir

$\hat \sigma^2 = \frac{1}{n} \sum_{i = 1}^n (x_i - \bar x)^2$

Esto es, por supuesto, un estimador sesgado pero consistente de la varianza. Algunas personas pueden intentar tener en cuenta este sesgo utilizando

$\hat s^2 = \frac{1}{n-1} \sum_{i = 1}^n (x_i - \bar x)^2 $

que ahora es imparcial para $\sigma^2$ ...pero la gente no suele fijarse en las varianzas, sino en las desviaciones estándar. La desigualdad de Jensen nos dirá que si $\hat s^2$ es un estimador insesgado de $\sigma^2$ con varianza positiva, entonces $E[s] > \sqrt{E[s^2]}$ ...así que aunque tengamos un estimador insesgado para $\sigma^2$ Si tomamos la raíz cuadrada de este estimador, tenemos ahora un estimador sesgado para $\sigma$ ¡!

De forma más general (y afirmado sin pruebas), es muy común que las estimaciones MLE de los componentes de la varianza tengan un sesgo hacia abajo, pero sean consistentes. Afortunadamente, este sesgo es ignorable; en el ejemplo anterior, podemos ver que la corrección es casi intrascendente para tamaños decentes $n$ . Sin embargo, si el número de parámetros estimados es muy grande, es muy posible que este sesgo sea especialmente problemático; esto se manifiesta como sobreajuste.