Otros estimadores insesgados de la azul (solución OLS) para modelos lineales

Question

Para un modelo lineal OLS solución es la que mejor lineales insesgados estimador de los parámetros.

Por supuesto que puede operar en una tendencia de menor variación, por ejemplo, regresión ridge. Pero mi pregunta es con respecto a no tener prejuicios. Existen otros estimadores que son más comúnmente utilizados, que son imparciales, pero con una mayor varianza que la OLS parámetros estimados?

Si yo tendría un enorme conjunto de datos que yo podría, por supuesto, sub-muestra y la estimación de los parámetros con menos datos, y el aumento de la varianza. Supongo que esto podría ser hipotéticamente útil.

Esto es más de una pregunta retórica, porque cuando he leído sobre el AZUL de los peritos, el peor alternativa. Supongo que proporciona peor de las alternativas podría también ayudar a la gente a entender el poder de AZUL estimadores mejor.

Answer 1

Un ejemplo que viene a la mente es que algunos GLS estimador de que los pesos de las observaciones de manera diferente a pesar de que no es necesaria cuando el de Gauss-Markov supuestos se cumplen (que el estadístico que no sé es el caso y por lo tanto se aplicarán GLS).

Considere el caso de una regresión de $y_i$, $i=1,\ldots,n$ en una constante para ilustración (fácilmente se generaliza a general GLS estimadores). Aquí, $\{y_i\}$ es asumido como una muestra aleatoria de una población con una media de $\mu$ y la varianza $\sigma^2$.

Entonces, sabemos que OLS es sólo $\hat\beta=\bar y$, la media de la muestra. Para enfatizar el punto de que cada observación es ponderado con peso $1/n$, escribo esto como $$ \hat\beta=\sum_{i=1}^n\frac{1}{n}y_i. $$ Es bien sabido que el $Var(\hat\beta)=\sigma^2/n$.

Ahora, considere otro estimador que puede ser escrito como $$ \tilde\beta=\sum_{i=1}^nw_iy_i, $$ donde los pesos son tales que $\sum_iw_i=1$. Esto asegura que el estimador es imparcial, como $$ E\left(\sum_{i=1}^nw_iy_i\right)=\sum_{i=1}^nw_iE(y_i)=\sum_{i=1}^nw_i\mu=\mu. $$ Su variación superior a la de la OPERACIÓN, a menos que $w_i=1/n$ todos los $i$ (en cuyo caso se reducirá a OLS), que, por ejemplo, puede ser demostrado a través de una de Lagrange:

\begin{align*} L&=V(\tilde\beta)-\lambda\left(\sum_iw_i-1\right)\\ &=\sum_iw_i^2\sigma^2-\lambda\left(\sum_iw_i-1\right), \end{align*} con derivadas parciales de w.r.t. $w_i$ set a cero de ser igual a $2\sigma^2w_i-\lambda=0$ todos los $i$, e $\partial L/\partial\lambda=0$ equivale a $\sum_iw_i-1=0$. La resolución de la primera serie de derivados de $\lambda$ e igualándolos rendimientos $w_i=w_j$, lo que implica $w_i=1/n$ minimiza la varianza, por el requisito de que la suma de los pesos de a uno.

Aquí es una ilustración gráfica de un poco de simulación, creado con el código de abajo:

EDIT: En respuesta a @kjetilbhalvorsen punto yo también incluyen la mediana de la $y_i$ en la trama.

Observamos que ambos estimadores son insesgados, pero el estimador que utiliza pesas $w_i=(1\pm\epsilon)/n$ pesos para la mitad de la muestra es más variable.

n <- 100      
reps <- 1e6

epsilon <- 0.5
w <- c(rep((1+epsilon)/n,n/2),rep((1-epsilon)/n,n/2))

ols <- rep(NA,reps)
weightedestimator <- rep(NA,reps)
lad <- rep(NA,reps)
lad2 <- rep(NA,reps)

for (i in 1:reps)
{
  y <- rnorm(n)
  ols[i] <- mean(y)
  weightedestimator[i] <- crossprod(w,y)  
  lad[i] <- median(y)   
}

plot(density(ols),col="purple", lwd=3, main="Kernel-estimate of density of OLS and weighted estimator",xlab="")
lines(density(weightedestimator),col="lightblue2", lwd=3)     
lines(density(lad),col="salmon", lwd=3)     
abline(v=0,lty=2)
legend('topright', c("OLS","weighted","median"), col=c("purple","lightblue","salmon"),lwd=3)