La comprensión de la varianza de los estimadores de

Question

Estoy teniendo problemas con la comprensión de los siguientes. Deje $\mu$ $\sigma^2$ ser la verdadera media y la varianza, $\bar{x}$ $s^2$ la medida de la media y la varianza para una variable aleatoria $x$ donde $$\displaystyle s^2 = \frac{1}{N+k}\sum_i (x_i-\bar{x})^2.$$

• Si $s^2$ es una estimación insesgada de la varianza, a continuación,$k=-1$.
• Si $s^2$ tiene la menor la media de la plaza de la propagación de la verdadera varianza, a continuación,$k=1$.

Answer 1

La idea de la unbaised la varianza de la estimación, es tener $E(s^{2})=\sigma^{2}$ donde la expectativa es con respecto a la distribución de muestreo de $s^{2}$ o, equivalentemente, con respecto a la distribución de muestreo de $x_1,\dots,x_N$. Así que si sabíamos que la verdadera media y la verdadera varianza, pero no el valor de $s^{2}$, $s^2$ habría esperado que el valor de $\sigma^{2}$.

Ahora tenemos:

$$E(s^{2})=E\left[ \frac{1}{N+k}\sum_i (x_i-\bar{x})^2\right] =\frac{1}{N+k}E\left[\sum_i x_i^2-N\bar{x}^{2}\right]$$

$$=\frac{1}{N+k}\left[\sum_i E(x_i^2)-NE(\bar{x}^{2})\right]$$

Podemos utilizar la identidad de $E(Y^{2})=V(Y)+[E(Y)]^{2}$, y el hecho de que sabemos $E(x_i)=\mu$$V(x_i)=\sigma^{2}$, y la suma se convierte en:

$$\sum_i E(x_i^2)=\sum_i V(x_i)+[E(x_i)]^2=\sum_i (\sigma^2+\mu^2)=N(\sigma^2+\mu^2)$$

Ahora para calcular la segunda expectativa, podemos re-escribir $NE(\bar{x}^{2})$ como sigue:

$$NE(\bar{x}^{2})=NE\left(\left[\frac{1}{N}\sum_i x_i\right]^{2}\right)=\frac{1}{N}E\left(\sum_i \sum_j x_jx_i\right)=\frac{1}{N}\sum_i \sum_j E(x_jx_i)$$ $$=\frac{1}{N}\left(\sum_i E(x_i^2)+\sum_{i\neq j} E(x_jx_i)\right)=(\sigma^2+\mu^2)+\frac{1}{N}\sum_{i\neq j} E(x_jx_i)$$

Ahora tenemos otra identidad que puede utilizar $E(YZ)=Cov(Y,Z)+E(Y)E(Z)$. Su planteamiento del problema no se especifica si o no la muestra es independiente, pero sí decir que tienen la misma distribución. Así que podemos aprovechar $Cov(x_ix_j)=\rho\sigma^2$ para algunos de correlación $-\frac{1}{N-1}\leq\rho\leq 1$ (límite inferior necesarios para la positiva de la varianza). A continuación, obtener:

$$NE(\bar{x}^{2})=(\sigma^2+\mu^2)+\frac{1}{N}\sum_{i\neq j} (\rho\sigma^2+\mu^2)=(\sigma^2+\mu^2)+\frac{N(N-1)}{N}(\rho\sigma^2+\mu^2)$$

$$=\sigma^2(1+(N-1)\rho)+N\mu^{2}$$ Poner esto juntos, tenemos:

$$E(s^2)=\frac{1}{N+k}\left[N(\sigma^2+\mu^2)-\left(\sigma^2(1+(N-1)\rho)+N\mu^{2}\right)\right]=\frac{N-1}{N+k}\sigma^2(1-\rho)$$

Así que si elegimos $k=-1$ y suponemos que $\rho=0$ (es decir, de la independencia), luego tenemos a $E(s^2)=\sigma^2$, y obtener una estimación insesgada de $s^2$. Sin embargo, si asumimos que $\rho=-\frac{1}{N-1}$ (es decir, la suma es fija), entonces obtenemos $E(s^2)=\frac{N-1}{N+k}\sigma^2(1+\frac{1}{N-1})=\frac{N}{N+k}\sigma^2$ y deberíamos $k=0$ para una estimación insesgada. Así que uno puede interpretar la intuición detrás de $N-1$ como cuenta el hecho de que la verdadera media ha sido estimado por la media de la muestra (y por lo tanto no es "fija").

Para minimum mean square error, se requieren $MSE(s^2)=E\left[(s^2-\sigma^2)^2\right]$ a de ser de un mínimo para algunos la elección de $k$. Ampliar el error cuadrático medio, se obtiene:

$$MSE(s^2)=E[s^4]-2\sigma^2E[s^2]+\sigma^4$$

$E(s^2)$ ha sido calculado ya, ahora para calcular el $E(s^4)$. el cuadrado de $s^2$ nos da:

$$s^4=\frac{1}{(N+k)^2}\left[\sum_i x_i^2-N\bar{x}^{2}\right]^2$$ $$=\frac{1}{(N+k)^2}\left(\left[\sum_i x_i^2\right]^2-2\left[\sum_i x_i^2\right]\left[N\bar{x}^{2}\right]+\left[N\bar{x}^{2}\right]^2\right)$$ $$=\frac{\left[\sum_i x_i^4+\sum_{i\neq j} x_j^2x_i^2\right]-2\frac{1}{N}\left[\sum_i x_i^2\right]\left[\sum_i x_i^2+\sum_{i\neq j} x_jx_i\right]+\frac{1}{N^2}\left[\sum_i x_i^2+\sum_{i\neq j} x_jx_i\right]^2}{(N+k)^2}$$ $$=\frac{(\frac{1}{N}-1)^2\left[\sum_i x_i^4+\sum_{i\neq j} x_j^2x_i^2\right]+2\frac{1}{N}(\frac{1}{N}-1)\left[\sum_i x_i^2\right]\left[\sum_{i\neq j} x_jx_i\right]+\frac{1}{N^2}\left[\sum_{i\neq j} x_jx_i\right]^2}{(N+k)^2}$$ $$=\frac{f(x_1,\dots,x_N)}{(N+k)^2}$$

Y usted puede ver que sin algunos de los supuestos que la expectativa de estar, en general, una función de la cuarta momentos de orden $E(x_ix_jx_kx_l),E(x_i^2x_jx_k),E(x_i^3x_j),E(x_i^2x_j^2),E(x_i^4)$ (que no son dadas en la pregunta). Sin embargo, su dependencia de la $k$ es bastante simple, así que todavía puede resolver la variación problema algebraicamente con $F=E[f(x_1,\dots,x_N)]$. Por lo tanto tenemos:

$$MSE(s^2)=\frac{F}{(N+k)^2}-2\sigma^2\left[\frac{N-1}{N+k}\sigma^2(1-\rho)\right]+\sigma^4$$

Tomando la derivada con respecto al $k$, ajustado a cero y resolver para $k$:

$$-2\frac{F}{(N+k)^3}+2\frac{N-1}{(N+k)^2}\sigma^4(1-\rho)=0$$ $$\implies k=\frac{F}{(N-1)\sigma^4(1-\rho)}-N$$

Esto muestra que, a menos que $F=c\sigma^4(1-\rho)$ donde $c$ sólo depende del tamaño de la muestra, el valor óptimo de $k$ será en función de los parámetros, y por lo tanto usted no tiene ninguna "solución" de por sí, porque depende de las cosas que usted no sabe. Usted puede demostrar que si se supone independiente de la distribución normal para $x_i$ (por lo $\rho=0$), $F=(N^2-1)\sigma^4$ y consigue $k=+1$ como el valor óptimo.

Answer 2

¿Cuál es el problema con sólo dividir por $N$? No tome en cuenta que usted no está restando la verdadera media de la población es de cada una de las $x_i$, pero en lugar de estimación de ella.

Una forma que me gusta pensar es, supongamos que yo le di a la media de la muestra $\bar{x}$. Cómo muchos puntos de datos $N-k$ le tengo que dar a usted de modo que usted podría decirme los valores exactos de los restantes $k$? Así, una media da una ecuación con cada una de las observaciones y, si sólo había un desconocido observación, se podría resolver la ecuación. En resumen, a sabiendas de la media y $N - 1$ puntos de datos es el mismo como el conocimiento de cada punto de datos.

En el cálculo de la varianza de la muestra, sé que la media, así es como sólo tengo $N - 1$ efectivos en los puntos de datos darme información; la última de ellas podía adivinar el uso de los otros más de la media. Dividimos por el número de efectivos de puntos de datos que tenemos, $N-1$. Esto se conoce como grados de libertad de corrección (sólo tenemos $N-1$ grados de libertad, los parámetros que no sabemos, dado que sabemos que la media).

Ahora, aquí está la matemática: Vamos a $$\begin{equation*} s^2 = \frac{1}{N}\sum_{i=1}^N{(y_i - \bar{y})^2}. \end{ecuación*}$$ A continuación, $$\begin{align*} E[s^2] &= E\left[ \frac{1}{N}\sum_{i=1}^N{(y_i - \bar{y})^2} \right] \\ &= E\left[\frac{1}{N}\sum_{i=1}^N{\left((y_i - \mu) - (\bar{y} - \mu)\right)^2} \right] \\ &= \frac{1}{N}\sum_{i=1}^NE\left[(y_i - \mu)^2\right] - 2\frac{1}{N}E\left[(\bar{y} - \mu)\sum_{i=1}^N{(y_i - \mu)}\right] \\ &\qquad + E\left[(\bar{y} - \mu)^2\right] \\ &= \frac{1}{N}\sum_{i=1}^NE\left[(y_i - \mu)^2\right] - E\left[(\bar{y} - \mu)^2\right] \\ &= \text{Var}(y_i) - \frac{\text{Var}(y_i)}{N} = \frac{N-1}{N}\text{Var}(y_i). \end{align*}$$

Para ello se utiliza el hecho de que la varianza de la media muestral es la varianza de $y_i$ dividido por $N$.

Por lo tanto, un estimador imparcial requiere multiplicar $s^2$$N/(N-1)$, dando la ecuación que se busca.

Como usted menciona, dividiendo por $N-1$ está cerca de dividir por $N$; los dos se cierre como $N$ se vuelve grande. Por lo tanto, $s^2$ es un estimador consistente---su sesgo llega a 0 $N$ se vuelve grande.