estimación de un parámetro

Question

La pregunta es: $x_i = \alpha + \omega_i, $ $i = 1, \ldots, n.$

donde $\alpha$ es un no-cero constante, pero desconocido, el parámetro a ser estimado, y $\omega_i$ no están correlacionados, zero_mean, variable aleatoria Gaussiana con conocidos de la varianza $\sigma_i^2$. Tenga en cuenta que$\sigma_i^2$$\sigma_j^2$$i \neq j$, puede ser distinta. Deseamos estimar el $\alpha$ a partir de la suma ponderada de $x_i$, es decir,

$$\hat{\alpha} = \sum^n_{i=1}b_ix_i$$

Determinar $b_i$, $i= 1, \ldots, n$, tal que $\hat{\alpha}$ es imparcial y la varianza de la $\hat{\alpha}$ es tan pequeño como sea posible.

He tratado de usar el imparcial condición y obtener que: $\sum_{i=1}^nb_i = 1$

No sé cómo utilizar la varianza de $\hat{\alpha}$ es tan pequeño como sea posible condición.

Answer 1

El peso debe ser proporcional a los recíprocos de las desviaciones: $$ b_k = \frac{1/\sigma_k^2}{\sum_{i=1}^n 1/\sigma_i^2}.\tag1 $$ Esto puede ser demostrado con multiplicadores de Lagrange.

La varianza de $\sum_{i=1}^n b_i x_i$$\sum_{i=1}^n b_i^2\sigma_i^2$. El problema es minimizar sujeto a la restricción $\sum_{i=1}^n b_i=1$. El $i$ésima componente del gradiente de la cosa para ser minimizado es $2b_i\sigma_i^2$. El vector cuyas componentes son aquellos que tiene que ser un escalar múltiples de la pendiente de la función de $\sum_{i=1}^n b_i$. Aviso de que lo que sucede con los pesos en $(1)$.

Answer 2

Para el unbiasedness, tenemos

$$ E\left(\hat{\alpha}\right)=E\left(\sum_{i=1}^nb_ix_i\right)=E\left(\sum_{i=1}^nb_i(\alpha+\omega_i)\right)=\alpha\sum_{i=1}^nb_i + E\left(\sum_{i=1}^nb_i\omega_i\right)=\alpha\sum_{i=1}^nb_i $$ y tenemos que $\sum_{i=1}^nb_i=1$ como usted dice.

Ahora, lo que sigue es simplemente hacer que este homoscedástica así que podemos usar el de Gauss-Markov teorema. Dividir a través de por $\sigma_i$:

$$ \frac{x_i}{\sigma_i}=\frac{\alpha}{\sigma_i}+\frac{\omega_i}{\sigma_i}\Rightarrow x_i^*=\alpha\frac{1}{\sigma_i}+\omega_i^* $$ donde $\omega_i^*\sim N(0, 1)$ (estrellas indican la varianza ajustada). Esto satisface la costumbre OLS condiciones, así que por el de Gauss-Markov teorema de OLS es eficiente e imparcial. El estimador es:

$$ \hat{\alpha}=\arg\min_{a}\sum_{i=1}^n(x_i^*-a\frac{1}{\sigma_i})^2\Rightarrow-2\sum_{i=1}^n\frac{(x_i^*-a\frac{1}{\sigma_i})}{\sigma_i}=0\\ \sum_{i=1}^n\frac{x_i}{\sigma_i^2}=\sum_{i=1}^n\frac{a}{\sigma^2_i}\\ \sum_{i=1}^n\frac{x_i}{\sigma^2_i}=\sum_{i=1}^n\frac{1}{\sigma^2_i}\\ \frac{\sum_{i=1}^n\frac{x_i}{\sigma^2_i}}{\sum_{i=1}^n\frac{1}{\sigma^2_i}}=a $$ así que los pesos son $$ b_i=\frac{\frac{1}{\sigma^2_i}}{\sum_{i=1}^n\frac{1}{\sigma^2_i}}. $$