Una breve pregunta sobre varianza muestral

Question

Considerar la estimación de la varianza de un RV $X$, comenzamos con la varianza de la muestra:

$$ \begin{array}{ll} V_1 & = \frac{1}{N-1} \sum_{i=1}^N (X_i - \bar{X})^2\\ & = \frac{1}{N-1} \left(\sum_{i=1}^N X_i^2 - 2\bar{X}\sum_{i=1}^N X_i + N\bar{X}^2 \right)\\ &= \frac{1}{N-1} \left(\sum_{i=1}^N X_i^2 - N\bar{X}^2\right) \end{array} $$

Donde $\bar{X} = N^{-1}\sum_{i=1}^N X_i$.

Mi pregunta es, a imaginar que había una mejor estimación de la media de la población es: $\hat{X}$ que fue garantizado para tener menor variación de la media de la muestra $\bar{X}$. Podría ser utilizado para obtener una mejor estimación de la varianza de la población? También, observe cómo la anterior derivación ya no se sostiene:

** Corrección: pregunta anterior utilizarse $\frac{1}{N-1}$, lo que sólo es necesario si la media de la muestra se utiliza. ** $$ \begin{array}{ll} V_2 & = \frac{1}{N} \sum_{i=1}^N (X_i - \hat{X})^2\\ & = \frac{1}{N} \left(\sum_{i=1}^N X_i^2 - 2\hat{X}\sum_{i=1}^N X_i + N\hat{X}^2 \right)\\ &\ne \frac{1}{N} \left(\sum_{i=1}^N X_i^2 - N\hat{X}^2\right) \end{array} $$

A menos $\bar{X} = \hat{X}$. También, hay una manera de medir la diferencia entre el $var(V_1)$ $var(V_2)$ como una función de la $var(\bar{X})$$var(\hat{X})$?

Edit: voy a motivar aún más ¿por qué esto podría ser útil. Imaginemos que tenemos $K$ diferentes estimadores de la misma media que, por simplicidad, imagino que cada uno de estos son de importancia muestreo de los estimadores de cada uno de ellos con una propuesta diferente distribución. Así que cada uno de estos estimadores es muy distinta a la varianza, y quiero que sepan que el estimador es el mejor (o puede estar).

Podríamos tomar a $N$ de las muestras de cada estimador y estimación de la varianza de la muestra para cada uno de ellos utilizando el estimador $V_1$. Alternativamente, se podrían utilizar las muestras de todos ellos en conjunto para obtener una mejor estimación de la media de población y el uso de $V_2$ lugar. Me sería de esperar que esto sería ventajoso si $K$ es muy grande (como $K = N^2$).

Consideremos un ejemplo simple, donde un estimador de muy alta varianza y devuelve $0$ en casi todas las muestras, excepto con muy baja probabilidad devuelve un valor enorme (lo suficiente para hacer una estimación insesgada todavía). La varianza de la muestra ($V_1$) para este estimador es probable que ser cero para cualquier razonables $N$ donde $V_2$ indicaría que el estimador es realmente muy buenos.

Answer 1

No creo que usted va a obtener una gran cantidad de beneficios, aquí, al menos en situaciones donde la media no es muy informativo acerca de la varianza. En estas situaciones, si el $X_i$ variar sobre un número cercano a $\bar X$ o cerca de $\hat X$, no es muy útil en la determinación de lo mucho que varían.

Para ver esto en el álgebra, el aviso de que $$ V_2 = \frac{1}{N-1}(\sum X_i - \hat X)^2 = \frac{1}{N-1}(\sum_i X_i - \bar X + \bar X - \hat X)^2 $$ lo que significa que se puede escribir como $$ V_1 + \frac{N}{N-1}(\bar X - \hat X)^2. $$ También, si usted tiene $K$ estimaciones diferentes de la misma cantidad, de optimalidad es generalmente obtenida por la toma de su promedio ponderado, donde los pesos son proporcionales a la inversa de su (co)varianza. El Gauss Markov Teorema es el resultado principal, y su generalización por Aitken.

NB para una situación en la que la media es muy informativo acerca de la varianza, utilizar el binario $X_i$, donde si sabe el significa que sepa la varianza.

Answer 2

En primer lugar, $\bar X$ es el mejor lineales insesgados estimador de $\mu$, la media de población. Usted puede mejorar el error cuadrático medio por contracción, pero entre estimaciones imparciales, que no puede ser mejor en términos de la varianza de $\sigma^2/n$ ($\sigma^2$ siendo la varianza de la población). Por otra parte, desde la teoría asintótica de la estimación de ecuaciones, creo que no se puede hacer mejor que $\sigma^2/n$ asintóticamente, de todos modos, por lo que el sesgo, si los hubiere, se tiene que ir lejos a un ritmo más rápido que el de $O(n^{-1/2})$. Técnicamente fuente válida para mejorar la eficiencia del estimador de la media es el conocimiento de la distribución de la forma de su base de datos (gamma? De Poisson? doble exponencial?), mientras que la media se expresa como una función de la (estimado) de los parámetros de la población, pero, por supuesto práctico de cualquiera de esas hipótesis es dudosa, en el mejor.

Segundo, la estimación de $V_1$ es sólo tan bueno como una estimación insesgada de la varianza. Tan lejos como puedo recordar mis stat clases de teoría, la estimación $$V_3=\frac1{n+1} \sum_i (X_i-\bar X)^2$$ has the smallest MSE as the estimator of the sampling variance $V[\bar X]$ (you probably have to assume normality of $X_i$'s para obtener una respuesta específica, como el MSE de la varianza del estimador depende de la curtosis de la distribución original).

Así que usted puede hacer todo tipo de cosas con estimaciones sesgadas, y mejorar el MSE de la estimador de $\mu$ o el estimador de la $V[\hat\mu]$. Pero la estimación objetiva de la teoría es bastante rígido, y Cramer-Rao obligado junto con Rao-Blackwell teorema de dar a los límites estrictos de su eficiencia.

Answer 3

imagina que había una mejor estimación de la media de población: Xˆ que fue garantizado para tener menor variación de la media de la muestra Xˉ. Podría ser utilizado para obtener una mejor estimación de la varianza de la población?

Sí.

Dado que sólo las muestras de la distribución de la media y la varianza es normal inverso-gamma. Si el proyecto esta distribución, así como para aislar sólo la estimación de la varianza, no se trata de la inversa-gamma-distribuido, sino que tendrá un mayor peso de la cola.

Por otro lado, dadas las muestras y un exacto decir, la distribución de la varianza inversa-gamma con la forma de la $\frac n2$.

Cómo activar estos priores más de la varianza en una estimación. Los estimadores de máxima verosimilitud de que la mayoría de la gente calcular son las modalidades de la mencionada distribución. No creo que las dos distribuciones tienen el mismo modo. (Creo que el primero suele ser más grande, pero la segunda será mayor si su verdadera media está muy lejos de la media de la muestra.)