La independencia de la media muestral y la varianza de la muestra en la distribución binomial

Question

Deje $X\sim\mathrm{Binomial}(n,p)$. Sabemos que $\mathrm{E}[X]=np$$\mathrm{Var}[X]=np(1-p)$. ¿Esto implica que la muestra media de $\bar x$ y la muestra de la varianza $s^2$ son dependientes el uno del otro? O ¿sólo significa que la población de la varianza puede ser escrito como una función de la población media?

Answer 1

$\bar x$ $s^2$ son variables aleatorias. Podemos trabajar fuera de su distribución conjunta. Vamos a probar la más simple posible trivial caso, que de una muestra de tamaño $2$ a partir de un Binomio$(1,p)$ distribución. Sólo hay cuatro posibilidades para que la muestra, que son tabulados por medio de la presente, junto con sus probabilidades (calculado a partir de la independencia de los dos elementos de la muestra):

First value | Second value | Mean | Variance | Probability
          0 |            0 |    0 |        0 | (1-p)^2
          0 |            1 |  1/2 |      1/2 | (1-p)p
          1 |            0 |  1/2 |      1/2 | p(1-p)
          1 |            1 |    1 |        0 | p^2

La media perfectamente predice la varianza en este ejemplo. Por lo tanto, siempre que todas las probabilidades son cero (es decir, $p$ ni $0$ ni $1$), la media muestral y la varianza de la muestra son no independientes.

Una pregunta interesante es si, si en una familia de distribuciones de la media determina la varianza de la media muestral y la varianza de la muestra puede ser independiente. La respuesta es sí: tomar cualquier familia de distribuciones Normales en los que la varianza depende de la media como el conjunto de todas las$(\mu, \mu^2)$ distribuciones. No importa cuál de estas distribuciones gobierna la muestra, la media muestral y la varianza de la muestra será independiente, debido a que es el caso para cualquier distribución Normal.

Este análisis sugiere que las preguntas acerca de la estructura de una familia de distribuciones (que se refieren $n$, $p$, $\mu$, y así sucesivamente), no tienen relación con las preguntas de la independencia de las estadísticas de las muestras de cualquier elemento dado de la familia.

Answer 2

La propiedad de que, para un yo.yo.d. de ejemplo, la media muestral y la varianza de la muestra son independientes, es una caracterización de la distribución normal: para ninguna otra distribución de una propiedad de bodegas.

Ver Patel, J. K., & Lee, C. B. (1982). Manual de la distribución normal, p. 81 en la 1ª edición de 1982, en el capítulo "Caracterizaciones" (puede haber cambiado páginas en la 2ª edición de 1996).

Así que para cualquier otro tipo de distribución, la media muestral y la varianza de la muestra son estadísticamente dependientes.

El resultado general con respecto a la media de la muestra y la varianza de la muestra a partir de un yo.yo.d. muestra de cualquier distribución que tiene momentos hasta el 3d, es la siguiente (usando el imparcial estimador para la varianza):

$$\operatorname{Cov} (\bar X, s^2) = E(\bar X s^2) - E(x)\operatorname{Var}(x) = \frac 1n E[X-E(x)]^3$$

En palabras, la covarianza entre la media muestral y la varianza de la muestra es igual a la tercer momento central, dividido por $n$. Consecuencias:

1) Como el tamaño de la muestra aumenta los dos tienden a estar correlacionadas.

2) Para cualquier distribución que tiene el tercer momento central igual a cero, están correlacionadas (aunque siguen siendo dependientes, para todas las distribuciones, excepto la normal). Esto incluye, por supuesto, todas las distribuciones simétricas respecto de su media, pero también de otras distribuciones que no son simétricas respecto de su media, pero aún así, tiene el tercer momento central igual a cero, ver este hilo.

Answer 3

Un caso extremo es $\operatorname{Bernoulli}(p) = \operatorname{Binomial}(1,p).$ lo considera una muestra de tamaño (capital) $N:$ \begin{align} Ns^2 = \sum_{k=1}^N (x_k - \overline x)^2 = {} & \left( \sum_k x_k^2 \right) - \left( 2\overline x \sum_i x_k \right) + \left( N\overline x^2 \right) \\[10pt] = {} & \left( \sum_k x_k \right) - 2\overline x \sum_k x_k + \left( n\overline x^2 \right) \\ & \text{since %#%#% or %#%#%, so %#%#%} \\[12pt] = {} & N\overline x - 2N\overline x^2 + N \overline x^2 \\[10pt] = {} & N \overline x(1-\overline x), \\[10pt] \text{so } s^2 = {} & \overline x(1-\overline x). \end{align} Así, cuando (en minúsculas) $x_k = 0$$1$, la media de la muestra determina la varianza de la muestra, por lo que están muy lejos de ser independiente. Pero la varianza de la muestra no es bastante para determinar completamente la media de la muestra, ya que hay dos valores de $x_k^2=x_k$ que producen el mismo valor de $n$

Cuando ambos $1,$ $\overline x$ son grandes, entonces espero que la media muestral y la varianza de la muestra sería de casi independiente, ya que la distribución es casi normal.