$\DeclareMathOperator{\Cov}{Cov}$ $\DeclareMathOperator{\Corr}{Corr}$ $\DeclareMathOperator{\Var}{Var}$
El problema con su línea de razonamiento es
"Creo que siempre podemos asumir $X$ para ser independiente de la otra $X$ s."
$X$ no es independiente de $X$ . El símbolo $X$ se utiliza para referirse a la misma variable aleatoria. Una vez que se conoce el valor de la primera $X$ para que aparezca en su fórmula, esto también fija el valor del segundo $X$ que aparezca. Si quieres que se refieran a variables aleatorias distintas (y potencialmente independientes), tienes que denotarlas con letras diferentes (por ejemplo $X$ y $Y$ ) o utilizando subíndices (por ejemplo $X_1$ y $X_2$ ); este último se utiliza a menudo (pero no siempre) para denotar variables extraídas de la misma distribución.
Si dos variables $X$ y $Y$ son independientes, entonces $\Pr(X=a|Y=b)$ es lo mismo que $\Pr(X=a)$ Conociendo el valor de $Y$ no nos da ninguna información adicional sobre el valor de $X$ . Pero $\Pr(X=a|X=b)$ es $1$ si $a=b$ y $0$ de lo contrario: conocer el valor de $X$ le ofrece información completa sobre el valor de $X$ . [Puedes sustituir las probabilidades de este párrafo por funciones de distribución acumulativa o, en su caso, funciones de densidad de probabilidad, con el mismo efecto.]
Otra forma de ver las cosas es que si dos variables son independientes, entonces tienen correlación cero (aunque la correlación cero no implica independencia ) pero $X$ es perfectamente correlacionado consigo mismo, $\Corr(X,X)=1$ así que $X$ no puede ser independiente de sí mismo. Tenga en cuenta que, dado que el covarianza viene dada por $\Cov(X,Y)=\Corr(X,Y)\sqrt{\Var(X)\Var(Y)}$ entonces
$$\Cov(X,X)=1\sqrt{\Var(X)^2}=\Var(X)$$
La fórmula más general para la varianza de una suma de dos variables aleatorias es
$$\Var(X+Y) = \Var(X) + \Var(Y) + 2 \Cov(X,Y)$$
En particular, $\Cov(X,X) = \Var(X)$ Así que
$$\Var(X+X) = \Var(X) + \Var(X) + 2\Var(X) = 4\Var(X)$$
que es la misma que se habría deducido de la aplicación de la regla
$$\Var(aX) = a^2 \Var(X) \implies \Var(2X) = 4\Var(X)$$
Si está interesado en la linealidad, entonces podría estar interesado en el _bilinealidad_ de covarianza. Para las variables aleatorias $W$ , $X$ , $Y$ y $Z$ (ya sean dependientes o independientes) y las constantes $a$ , $b$ , $c$ y $d$ tenemos
$$\Cov(aW + bX, Y) = a \Cov(W,Y) + b \Cov(X,Y)$$
$$\Cov(X, cY + dZ) = c \Cov(X,Y) + d \Cov(X,Z)$$
y en general,
$$\Cov(aW + bX, cY + dZ) = ac \Cov(W,Y) + ad \Cov(W,Z) + bc \Cov(X,Y) + bd \Cov(X,Z)$$
Entonces puedes usar esto para probar los resultados (no lineales) para la varianza que escribiste en tu post:
$$\Var(aX) = \Cov(aX, aX) = a^2 \Cov(X,X) = a^2 \Var(X)$$
$$ \begin{align} \Var(aX + bY) &= \Cov(aX + bY, aX + bY) \\ &= a^2 \Cov(X,X) + ab \Cov(X,Y) + ba \Cov (X,Y) + b^2 \Cov(Y,Y) \\ \Var(aX + bY) &= a^2 \Var(X) + b^2 \Var(Y) + 2ab \Cov(X,Y) \end{align} $$
Este último da, como caso especial cuando $a=b=1$ ,
$$\Var(X+Y) = \Var(X) + \Var(Y) + 2 \Cov(X,Y)$$
Cuando $X$ y $Y$ no están correlacionados (lo que incluye el caso de que sean independientes), entonces esto se reduce a $\Var(X+Y) = \Var(X) + \Var(Y)$ . Por lo tanto, si quiere manipular las varianzas de forma "lineal" (que suele ser una buena forma de trabajar algebraicamente), entonces trabaje con el covarianzas y explotar su bilinealidad.
8 votos
La varianza no es lineal -- tu primera afirmación lo demuestra (si lo fuera, tendrías $Var(aX) = a Var(X)$ . La covarianza, en cambio, es bilineal.
2 votos
$Var(X+X)=Var(X)+Var(X) + 2cov(X,X) = 4V(X)$ desde $cov(X,X) = V(X)$ .