Varianza del muestreo de importancia frente al tamaño del muestreo de importancia

Question

¿El aumento del tamaño del muestreo de importancia garantiza la disminución de la varianza del muestreo de importancia?

Un poco de contexto: Estoy intentando utilizar el muestreo de importancia en lugar del muestreo de igual probabilidad para reducir la varianza de mi estimador. Basándome en mis datos, si tengo un tamaño de muestra pequeño, la varianza de los datos del muestreo de importancia es menor que la varianza del muestreo de igual probabilidad. Pero si aumento a un tamaño de muestra grande, se garantiza que la varianza del muestreo de igual probabilidad es menor, y la varianza del muestreo de importancia no lo parece.

Answer 1

La varianza del estimador en el muestreo de importancia sigue reduciéndose en proporción inversa al número de valores utilizados en la simulación (suponiendo que la varianza sea finita). En el muestreo de importancia, estimamos una cantidad de momento $\mu \equiv \mathbb{E}(h(X))$ con $X \sim f$ generando un conjunto de variables aleatorias $Y_1,Y_2,...,Y_m \sim \text{IID }g$ y utilizando el estimador:

$$\hat{\mu}_m \equiv \frac{1}{m} \sum_{i=1}^m \frac{h(Y_i) f(Y_i)}{g(Y_i)}.$$

Con un poco de álgebra (véase más adelante) se puede hallar que la varianza del estimador es:

$$\mathbb{V}(\hat{\mu}_m) = \frac{1}{m} \bigg[ \mathbb{E} \bigg( h(X)^2 \cdot \frac{f(X)}{g(X)} \bigg) - \mathbb{E}(h(X))^2 \bigg].$$

Como puede ver, esta cantidad sigue siendo proporcional a $1/m$ (suponiendo que esta varianza sea finita), por lo que la mecánica de gran simulación de este método sigue siendo esencialmente la misma que en el caso no ponderado.

---

Derivación de la varianza del estimador: Escribe el estimador como:

$$\hat{\mu}_m = \frac{1}{m} \sum_{i=1}^m \varepsilon(Y_i) \quad \quad \quad \quad \quad \varepsilon (y) \equiv \frac{h(y) f(y)}{g(y)}.$$

Dado que cada uno de estos términos es un estimador insesgado del momento de interés, tienen varianza:

$$\begin{align} \mathbb{V}(\varepsilon(Y_i)) = \mathbb{E}(\varepsilon(Y_i)^2) - \mu^2 &= \mathbb{E} \bigg( \bigg( \frac{h(Y_i) f(Y_i)}{g(Y_i)} \bigg)^2 \bigg) - \mu^2 \\[6pt] &= \int \limits_\mathbb{R} \bigg( \frac{h(y) f(y)}{g(y)} \bigg)^2 g(y) \ dy - \mu^2 \\[6pt] &= \int \limits_\mathbb{R} \frac{h(x)^2 f(x)}{g(x)} f(x) \ dx - \mu^2 \\[6pt] &= \mathbb{E} \bigg( h(X)^2 \cdot \frac{f(X)}{g(X)} \bigg) - \mathbb{E}(h(X))^2 \\[6pt] \end{align}$$

Entonces tenemos:

$$\begin{align} \mathbb{V}(\hat{\mu}_m) &= \mathbb{V} \bigg( \frac{1}{m} \sum_{i=1}^m \varepsilon(Y_i) \bigg) \\[6pt] &= \frac{1}{m^2} \sum_{i=1}^m \mathbb{V} ( \varepsilon(Y_i) ) \\[6pt] &= \frac{1}{m^2} \sum_{i=1}^m \bigg[ \mathbb{E} \bigg( h(X)^2 \cdot \frac{f(X)}{g(X)} \bigg) - \mathbb{E}(h(X))^2 \bigg] \\[6pt] &= \frac{1}{m} \bigg[ \mathbb{E} \bigg( h(X)^2 \cdot \frac{f(X)}{g(X)} \bigg) - \mathbb{E}(h(X))^2 \bigg]. \\[6pt] \end{align}$$