Hay parámetros donde un estimador sesgado que se considera "mejor" que el estimador imparcial?

Question

Un estimador perfecto, sería preciso (imparcial) y precisa (buena estimación incluso con muestras pequeñas).

Nunca he pensado realmente en la cuestión de la precisión, sino sólo el de la precisión (como yo lo hice en el Estimador de $\frac{\sigma^2}{\mu (1 - \mu)}$ cuando el muestreo sin reemplazo , por ejemplo).

Hay casos en que el estimador imparcial es menos preciso (y al final lo "menos bueno") de un estimador sesgado? Si es así, me encantaría un ejemplo sencillo de demostrar matemáticamente que la menos precisa estimador es mucho más precisa que se puede considerar mejor.

Answer 1

Un ejemplo es el de las estimaciones de mínimos cuadrados ordinarios de regresión cuando hay multicolinealidad. Ellos son imparciales, pero tienen una enorme variación. Cresta de la regresión en el mismo problema de los rendimientos de las estimaciones que se sesgada, pero tienen mucho menor varianza. E. g.

install.packages("ridge")
library(ridge)
set.seed(831)

data(GenCont)
ridgemod <- linearRidge(Phenotypes ~ ., data = as.data.frame(GenCont))
summary(ridgemod)
linmod <- lm(Phenotypes ~ ., data = as.data.frame(GenCont))
summary(linmod)

Los valores de t son mucho más grandes para la cresta de la regresión de la regresión lineal. El sesgo es bastante pequeña.

Answer 2

Sí, hay un montón de casos; usted va a ganar alrededor de la de bush, que es el tema del Sesgo y la Varianza de equilibrio (en particular, el gráfico de la derecha es una buena visualización).

Como un ejemplo matemático, estoy tirando el siguiente ejemplo de la excelente Inferencia Estadística por Casella y Berger para mostrar que un estimador sesgado tiene menor Error cuadrático medio y por lo tanto se considera mejor.

Deje $X_1, ..., X_n$ ser yo.yo.d. n$(\mu, \sigma^2)$ (es decir, Gaussiano con media de $\mu$ y la varianza $\sigma^2$ en su notación). Vamos a comparar dos estimadores de $\sigma^2$: el primero, el imparcial, el estimador es $$\hat{\sigma}_{unbiased}^2 := \frac{1}{n-1}\sum_{i=1}^{n} (X_i - \bar{X})^2$$ usually called $S^2$, the canonical sample variance, and the second is $$\hat{\sigma}_{biased}^2 := \frac{1}{n}\sum_{i=1}^{n} (X_i - \bar{X})^2 = \frac{n-1}{n}\hat{\sigma}_{unbiased}^2$$ which is the Maximum Likelihood estimate of $\sigma^2$. En primer lugar, el MSE de el imparcial estimador:

$$\begin{align} \text{MSE}(\hat{\sigma}^2_{unbiased}) &= \text{Var} \ \hat{\sigma}^2_{unbiased} + \text{Bias}(\hat{\sigma}^2_{unbiased})^2 \\ &= \frac{2\sigma^4}{n-1}\end{align}$$ El MSE de la polarización, la estimación de máxima verosimilitud de $\sigma^2$ es: $$\begin{align}\text{MSE}(\hat{\sigma}_{biased}^2) &= \text{Var}\ \hat{\sigma}_{biased}^2 + \text{Bias}(\hat{\sigma}_{biased}^2)^2\\ &=\text{Var}\left(\frac{n-1}{n}\hat{\sigma}^2_{unbiased}\right) + \left(\text{E}\hat{\sigma}_{biased}^2 - \sigma^2\right)^2 \\ &=\left(\frac{n-1}{n}\right)^2\text{Var} \ \hat{\sigma}^2_{unbiased} \, + \left(\text{E}\left(\frac{n-1}{n}\hat{\sigma}^2_{unbiased}\right) - \sigma^2\right)^2\\ &= \frac{2(n-1)\sigma^4}{n^2} + \left(\frac{n-1}{n}\sigma^2 - \sigma^2\right)^2\\ &= \left(\frac{2n-1}{n^2}\right)\sigma^4\end{align}$$ Por lo tanto, $$\text{MSE}(\hat{\sigma}_{biased}^2) = \frac{2n-1}{n^2}\sigma^4 < \frac{2}{n-1}\sigma^4 = \text{MSE}(\hat{\sigma}_{unbiased}^2)$$

Answer 3

Hay numerosos ejemplos en los que el MLE tiene menor error cuadrático medio (MSE) de la mejor disponible estimador imparcial (aunque a menudo no son estimadores con menor MSE). El "estándar" ejemplo en la normal de muestreo surge en la estimación de la varianza para el ejemplo.

Hay muchos casos en los que no estimador imparcial existe, tales como el inverso de la tasa parámetro de una distribución de Poisson.

También es posible encontrar situaciones en las que un estimador imparcial, a veces puede dar "imposible" estimaciones (dar valores estimados que el parámetro simplemente no puede tomar, como a veces de manera negativa estimaciones necesariamente cantidades de positivos, por ejemplo).

Uno muy conocido ejemplo (ver por ejemplo [1], pero a menudo aparece en los estudiantes de ejercicios) es de $X\sim \text{Pois}(\lambda)$ donde el único imparcial estimador de $e^{-2\lambda}$$(-1)^X$. En la observación de un extraño valor de $X$, la estimación es negativo.

[1] Romano, J. P. y Siegel, A. F. (1986),
Contraejemplos en Probabilidad y Estadística.
Boca Raton: Chapman and Hall/CRC.