¿Por qué no da varianza poblacional?

Question

Cuando se intenta determinar la varianza poblacional a partir de la varianza muestral, debe corregirse multiplicando por: $$ \frac{n}{n-1} $$

y esto suele explicarse intuitivamente porque la media de la muestra está más cerca de los valores reales de la muestra que la media de la población.

De esta explicación parece, por tanto, que se podrían tomar dos muestras y utilizar la media de una para calcular la varianza poblacional de la otra, es decir: $$ Sample 1: \big\{x_1, x_2, ..., x_i\big\} \\ Sample 2: \big\{y_1, y_2, ..., y_i\big\} \\ \sigma^2 = \frac{1}{n}\sum_1^n{(x_i - \bar{y})^2} $$

No se me ocurre cómo probar/desmentir esto rigurosamente cuando se están considerando diferentes muestras, pero probándolo en python se ha demostrado que da una varianza mayor que la varianza real de la población.

Answer 1

Supongamos que hay $n$ $x_i$ y $m$ de la muestra utilizada para calcular $\bar{y}$

¿Cuál es el valor esperado de $\frac{1}{n}\sum_1^n (x_i - \bar{y})^2$ ? Expandiendo el término al cuadrado, obtenemos:

$$(x_i - \bar{y})^2 = x_i^2 - 2x_i\bar{y} + \bar{y}^2$$

Si tomamos el valor esperado de ésta (aprovechando la linealidad de la expectativa y la independencia de $\bar{y}$ y cada $x_i$ ) obtenemos:

$$E[x_i^2] - 2E[x_i\bar{y}]+E[\bar{y}^2] = \sigma^2 + (E[x_i])^2 - 2E[x_i]E[\bar{y}] + E[\bar{y}^2] = $$ $$\sigma^2 + \mu^2 - 2\mu^2 + \frac{\sigma^2}{m} + \mu^2 = \sigma^2\left( 1+\frac{1}{m}\right) > \sigma^2\;\; \forall m<\infty$$

Por lo tanto,

$$E\left[\frac{1}{n}\sum_1^n (x_i - \bar{y})^2\right] = \sigma^2\left( 1+\frac{1}{m}\right) = \sigma^2\left(\frac{m+1}{m}\right) $$

Por lo tanto, no se ha eliminado el sesgo utilizando una segunda muestra. variabilidad de $\bar{x}$ o $\bar{y}$ y no el hecho de que estén "más cerca" de sus valores de muestra (un concepto bastante vago en cualquier caso). Tendría que multiplicar por $\left(\frac{m}{m+1}\right)$ para volver a una estimación imparcial.

Answer 2

El problema básico es que, como se suele decir, "se agota un grado de libertad" cuando se utiliza la media muestral para centrar los valores en el cálculo de la varianza muestral.

Imagina que extraes tres observaciones de una distribución normal con media cero y desviación típica 1. Supón que esas tres observaciones son 0, 1 y 1. Ahora, supongamos que esas tres observaciones son 0, 1, 1. En secreto, todos sabemos que $\mu$ es 0, por lo que la suma de varianzas de los términos centrados de segundo orden es $1^2+1^2=2$ .

Pero su estimación $\mu$ de los datos es 0,667, es decir, dos tercios. Por lo tanto, al calcular ahora el estimador muestral, la suma de esos cuadrados centrados = $\frac{2}{3}^2+\frac{1}{3}^2+\frac{1}{3}^2 = \frac{2}{3}$ .

En este caso es extremo, ya que tenemos dos valores atípicos bastante alejados de la media real y un punto justo en ella; por lo que la estimación de la media hace aritméticamente demasiado pequeña la suma de cuadrados de las observaciones centradas. Por eso la $\frac{1}{n-1}$ en lugar de dividir por n.

Tu idea parece buena a primera vista. ¿Por qué no utilizar una muestra distinta de la misma población para calcular la media estimada? $\hat\mu$ ¿para no agotar un grado de libertad?

A primera vista parece sensato, pero se plantean dos problemas. En primer lugar, en el mundo real a menudo sólo disponemos de n observaciones con las que trabajar. En segundo lugar, cuando podemos, preferimos agruparlos con los demás datos para tener más precisión en la estimación de todos los parámetros. En otras palabras, si tenemos dos muestras de 100, obtendremos resultados más fiables tratándolas como una sola muestra de 200 y utilizando $\frac{1}{n-1}$ en el cálculo de la varianza muestral estimada.