Explicación intuitiva para dividir por $n-1$ al calcular la desviación estándar?

Question

Hoy me han preguntado en clase por qué se divide la suma del error cuadrático por $n-1$ en lugar de con $n$ al calcular la desviación estándar.

Dije que no voy a responder en clase (ya que no quería entrar en los estimadores insesgados), pero después me pregunté es que hay ¡¿una explicación intuitiva para esto?!

Answer 1

La desviación estándar calculada con un divisor de $n-1$ es una desviación estándar calculada a partir de la muestra como una estimación de la desviación estándar de la población de la que se extrajo la muestra. Dado que los valores observados están, por término medio, más cerca de la media de la muestra que de la media de la población, la desviación típica que se calcula utilizando las desviaciones de la media de la muestra subestima la desviación típica deseada de la población. Utilizando $n-1$ en lugar de $n$ como divisor lo corrige haciendo el resultado un poco más grande.

Obsérvese que la corrección tiene un efecto proporcional mayor cuando $n$ es pequeño que cuando es grande, que es lo que queremos porque cuando n es mayor la media de la muestra es probable que sea un buen estimador de la media de la población.

Cuando la muestra es toda la población utilizamos la desviación estándar con $n$ como divisor porque la media de la muestra es media de la población.

(Observo entre paréntesis que nada que comience con "segundo momento recentrado en torno a una media conocida y definida" va a satisfacer la petición del interrogador de una explicación intuitiva).

Answer 2

Por definición, la varianza se calcula tomando la suma de las diferencias al cuadrado con respecto a la media y dividiéndola por el tamaño. Tenemos la fórmula general

$\sigma^2= \frac{\sum_{i}^{N}(X_i-\mu)^2}{N}$ donde $\mu$ es la media y $N$ es el tamaño de la población.

Según esta definición, la varianza de una muestra (por ejemplo, la muestra $t$ ) también debe calcularse de esta manera.

$\sigma^2_t= \frac{\sum_{i}^{n}(X_i-\overline{X})^2}{n}$ donde $\overline{X}$ es la media y $n$ es el tamaño de esta pequeña muestra.

Sin embargo, por la varianza de la muestra $S^2$ nos referimos a un estimador de la varianza de la población $\sigma^2$ . ¿Cómo podemos estimar $\sigma^2$ sólo utilizando los valores de la muestra?

Según las fórmulas anteriores, la variable aleatoria $X$ se desvía de la media de la muestra $\overline{X}$ con la varianza $\sigma^2_t$ . La media de la muestra $\overline{X}$ también se desvía de $\mu$ con la varianza $\frac{\sigma^2}{n}$ porque la media de la muestra obtiene valores diferentes de una muestra a otra y es una variable aleatoria con media $\mu$ y la varianza $\frac{\sigma^2}{n}$ . (Se puede probar fácilmente).

Por lo tanto, aproximadamente, $X$ debe desviarse de $\mu$ con una varianza que implica dos variantes por lo que se suman estas dos y se obtiene $\sigma^2=\sigma^2_t+\frac{\sigma^2}{n}$ . Resolviendo esto, obtenemos $\sigma^2=\sigma^2_t \times\frac{n}{n-1}$ . Sustitución de $\sigma^2_t$ da nuestro estimador de la varianza de la población:

$S^2= \frac{\sum_{i}^{n}(X_i-\overline{X})^2}{n-1}$ .

También se puede demostrar que $E[S^2]=\sigma^2$ es cierto.

Answer 3

Una común es que la definición de varianza (de una distribución) es el segundo momento recentrado alrededor de un conocido, definido media, mientras que el estimador utiliza una estimado medio. Esta pérdida de un grado de libertad (dada la media, se puede reconstituir el conjunto de datos con el conocimiento de sólo $n-1$ de los valores de los datos) requiere el uso de $n-1$ en lugar de $n$ para "ajustar" el resultado.

Esta explicación es coherente con las varianzas estimadas en el ANOVA y el análisis de componentes de la varianza. En realidad es un caso especial.

La necesidad de hacer algunos El ajuste que infla la varianza puede, creo, hacerse intuir con un argumento válido que no sea sólo ex post facto agitando las manos. (Recuerdo que Student puede haber presentado un argumento de este tipo en su artículo de 1908 sobre la prueba t). Por qué el ajuste de la varianza debe ser exactamente un factor de $n/(n-1)$ es más difícil de justificar, sobre todo si se tiene en cuenta que la DS ajustada es no un estimador insesgado. (Es simplemente la raíz cuadrada de un estimador insesgado de la varianza. Ser insesgado no suele sobrevivir a una transformación no lineal). Así que, de hecho, el ajuste correcto de la DS para eliminar su sesgo es no un factor de $\sqrt{n/(n-1)}$ en absoluto.

Algunos libros de texto introductorios ni siquiera se molestan en introducir la sd ajustada: enseñan una fórmula (dividir por $n$ ). Al principio reaccioné de forma negativa al enseñar a partir de un libro de este tipo, pero acabé apreciando su sabiduría: para centrarse en los conceptos y las aplicaciones, los autores eliminan todas las sutilezas matemáticas innecesarias. Resulta que nada se perjudica y nadie se engaña.

Answer 4

Se trata de una intuición total, pero la respuesta más sencilla es que se trata de una corrección realizada para que la desviación estándar de la muestra de un elemento sea indefinida en lugar de 0.

Answer 5

Puede obtener una comprensión más profunda de la $n-1$ término a través de la geometría por sí sola, no sólo porque no es $n$ pero por qué toma exactamente esta forma, pero es posible que primero tenga que construir su intuición hacer frente a $n$ -geometría dimensional. Sin embargo, a partir de ahí, es un pequeño paso hacia una comprensión más profunda de los grados de libertad en los modelos lineales (es decir, df del modelo y df residual). Creo que hay pocas dudas de que Fisher pensó de esta manera. Aquí hay un libro que lo construye gradualmente:

Saville DJ, Wood GR. Métodos estadísticos: el enfoque geométrico . 3ª edición. New York: Springer-Verlag; 1991. 560 páginas. 9780387975177

(Sí, 560 páginas. He dicho gradualmente).