Varianza del promedio de$n$ de variables aleatorias correlacionadas

Question

La lectura acerca de la profundidad de tendencia, me encontré con la siguiente fórmula.

$$ \mbox{var} \left( \frac{1}{n} \sum_{i=1}^{n} X_i \right) = \rho \sigma^2 + \frac{1-\rho}{n} \sigma^2 $$

donde $X_1, \dots, X_n$ son variables aleatorias idénticamente distribuidas con pares de correlación $\rho > 0$ y la varianza $\mbox{var}(X_i) = \sigma^2$.

1. Cómo derivar esto?
2. ¿Cómo bootstrap agregación de paliar el efecto de sobreajuste, de acuerdo a esta fórmula? ¿Cuál es la relationsip?

Answer 1

Por definición, tenemos

$$\operatorname{var}\left(\sum_{i=1}^n{X_i}\right)=\operatorname{cov}\left(\sum_{i=1}^n{X_i},\sum_{i=1}^n{X_i}\right)=\sum_{i=1}^n{\operatorname{var}(X_i)}+\sum_{i\neq j}\operatorname{cov}(X_i,X_j)$$

que es $n \operatorname{var}(X_i)+n(n-1)\operatorname{cov}(X_i,X_j)=n\sigma^2+n(n-1)\rho\sigma^2$, donde $i\neq j$. Sustituyendo esto en la ecuación original, produce el siguiente:

$$\operatorname{var}\left(\frac{1}{n}\sum_{i=1}^nX_i\right)=\frac{1}{n^2}(n\sigma^2+n(n-1)\rho\sigma^2)=\rho\sigma^2+\frac{1-\rho}{n}\sigma^2$$

Cada una de las $X_i$ puede ser considerado como una sola decisión mecanismo, llamado DM, (por ejemplo, regresor). La varianza de su decisión fue $\sigma^2$. Mediante el uso de muestras bootstrap y la agregación de sus DMs' salidas, usted termina con una decisión de la varianza como la de arriba, que es estrictamente menor que $\sigma^2$ cuando $\rho \neq 1$ e $n\neq 1$. DMs tendrán algún grado de correlación de curso, ya que se capacitó a más de bootstrap muestras obtenidas a partir del mismo conjunto de datos base, pero la correlación entre ellos la mayoría probablemente no va a ser igual a $1$. Overfitted mecanismos, en general, tienen gran variación, por lo que con el objetivo de disminuir la varianza de la DM, en realidad abordar el problema de sobreajuste implícitamente.