Varianza de una función de una variable aleatoria

Question

Digamos que tenemos una variable aleatoria $X$ con varianza y media conocidas. La pregunta es: ¿cuál es la varianza de $f(X)$ para una función f dada. El único método general que conozco es el método delta, pero sólo da una aproximación. Ahora estoy interesado en $f(x)=\sqrt{x}$ pero también sería bueno conocer algunos métodos generales.

Edición 29.12.2010
He hecho algunos cálculos utilizando series de Taylor, pero no estoy seguro de que sean correctos, así que me gustaría que alguien pudiera confirmar de ellos.

En primer lugar, tenemos que aproximar $E[f(X)]$
$E[f(X)] \approx E[f(\mu)+f'(\mu)(X-\mu)+\frac{1}{2}\cdot f''(\mu)(X-\mu)^2]=f(\mu)+\frac{1}{2}\cdot f''(\mu)\cdot Var[X]$

Ahora podemos aproximar $D^2 [f(X)]$
$E[(f(X)-E[f(X)])^2] \approx E[(f(\mu)+f'(\mu)(X-\mu)+\frac{1}{2}\cdot f''(\mu)(X-\mu)^2 -E[f(X)])^2]$

Utilizando la aproximación de $E[f(X)]$ sabemos que $f(\mu)-Ef(x) \approx -\frac{1}{2}\cdot f''(\mu)\cdot Var[X]$

Usando esto obtenemos:
$D^2[f(X)] \approx \frac{1}{4}\cdot f''(\mu)^2\cdot Var[X]^2-\frac{1}{2}\cdot f''(\mu)^2\cdot Var[X]^2 + f'(\mu)^2\cdot Var[X]+\frac{1}{4}f''(\mu)^2\cdot E[(X-\mu)^4] +\frac{1}{2}f'(\mu)f''(\mu)E[(X-\mu)^3]$
$D^2 [f(X)] \approx \frac{1}{4}\cdot f''(\mu)^2 \cdot [D^4 X-(D^2 X)^2]+f'(\mu)\cdot D^2 X +\frac{1}{2}f'(\mu)f''(\mu)D^3 X$

Answer 1

Actualización

He subestimado las expansiones de Taylor. Realmente funcionan. Asumí que la integral del término restante puede ser ilimitada, pero con un poco de trabajo se puede demostrar que no es el caso.

La expansión de Taylor funciona para funciones en intervalos cerrados acotados. Para variables aleatorias con varianza finita Desigualdad de Chebyshev da

$$P(|X-EX|>c)\le \frac{\operatorname{Var}(X)}{c}$$

Así que para cualquier $\varepsilon>0$ podemos encontrar un tamaño lo suficientemente grande $c$ para que

$$P(X\in [EX-c,EX+c])=P(|X-EX|\le c)<1-\varepsilon$$

En primer lugar, estimemos $Ef(X)$ . Tenemos \begin {align} Ef(X)= \int_ {|x-EX| \le c}f(x)dF(x)+ \int_ {|x-EX|>c}f(x)dF(x) \end {align} donde $F(x)$ es la función de distribución de $X$ .

Como el dominio de la primera integral es el intervalo $[EX-c,EX+c]$ que es un intervalo cerrado acotado podemos aplicar la expansión de Taylor: \begin {align} f(x)=f(EX)+f'(EX)(x-EX)+ \frac {f''(EX)}{2}(x-EX)^2+ \frac {f'''( \alpha )}{3!}(x-EX)^3 \end {align} donde $\alpha\in [EX-c,EX+c]$ y la igualdad se mantiene para todos los $x\in[EX-c,EX+c]$ . Sólo tomé $4$ términos en la expansión de Taylor, pero en general podemos tomar tantos como queramos, siempre que la función $f$ es lo suficientemente suave.

Sustituyendo esta fórmula a la anterior obtenemos

\begin {align} Ef(X)&= \int_ {|x-EX| \le c}f(EX)+f'(EX)(x-EX)+ \frac {f''(EX)}{2}(x-EX)^2dF(x) \\\\ &+ \int_ {|x-EX| \le c} \frac {f'''( \alpha )}{3!}(x-EX)^3dF(x) + \int_ {|x-EX|>c}f(x)dF(x) \end {align} Ahora podemos aumentar el dominio de la integración para obtener la siguiente fórmula

\begin {align} Ef(X)&=f(EX)+ \frac {f''(EX)}{2}E(X-EX)^2+R_3 \\\\ \end {align} donde \begin {align} R_3&= \frac {f'''( \alpha )}{3!}E(X-EX)^3+ \\\\ &+ \int_ {|x-EX|>c} \left (f(EX)+f'(EX)(x-EX)+ \frac {f''(EX)}{2}(x-EX)^2+f(X) \right )dF(x) \end {align} Ahora, bajo algunas condiciones de momento, podemos demostrar que el segundo término de este resto es tan grande como $P(|X-EX|>c)$ que es pequeño. Desgraciadamente, el primer término se mantiene, por lo que la calidad de la aproximación depende de $E(X-EX)^3$ y el comportamiento de la tercera derivada de $f$ en intervalos acotados. Esta aproximación debería funcionar mejor para variables aleatorias con $E(X-EX)^3=0$ .

Ahora para la varianza podemos utilizar la aproximación de Taylor para $f(x)$ , reste la fórmula de $Ef(x)$ y elevar al cuadrado la diferencia. A continuación,

$E(f(x)-Ef(x))^2=(f'(EX))^2\operatorname{Var}(X)+T_3$

donde $T_3$ implica momentos $E(X-EX)^k$ para $k=4,5,6$ . Podemos llegar a esta fórmula también utilizando sólo la expansión de Taylor de primer orden, es decir, utilizando sólo las derivadas primera y segunda. El término de error sería similar.

Otra forma es ampliar $f^2(x)$ : \begin {align} f^2(x)&=f^2(EX)+2f(EX)f'(EX)(x-EX) \\\\ &+[(f'(EX))^2+f(EX)f''(EX)](X-EX)^2+ \frac {(f^2( \beta )'''}{3!}(X-EX)^3 \end {align}

Del mismo modo, obtenemos entonces \begin {align*} Ef^2(x)=f^2(EX)+[(f'(EX))^2+f(EX)f''(EX)] \operatorname {Var}(X)+ \tilde {R}_3 \end {align*} donde $\tilde{R}_3$ es similar a $R_3$ .

La fórmula de la varianza se convierte entonces en \begin {align} \operatorname {Var}(f(X))=[f'(EX)]^2 \operatorname {Var}(X)- \frac {[f''(EX)]^2}{4} \operatorname {Var}^2(X)+ \tilde {T}_3 \end {align} donde $\tilde{T}_3$ sólo tienen terceros momentos y superiores.

Answer 2

La referencia estándar es (o al menos solía ser) Katz y Sarnak .