Muestreo de importancia óptimo con estimador de ratio

Question

Queremos aproximarnos a la siguiente expectativa: $$\mathbb{E}[h(x)] = \int h(x)\pi(x) dx$$ Donde $h(x)$ es una función arbitraria y $\pi(x)$ es una distribución, también para simplificar, vamos a suponer que realmente conocemos la constante de normalización para $\pi(x)$ . Por supuesto, nos gustaría tomar una muestra de la distribución óptima de la propuesta: $$g(x) = \frac{|h(x)|\pi(x)}{Z}$$ pero, por supuesto, esta no va a ser una forma de la que podamos tomar muestras y ni siquiera podríamos calcular los pesos de importancia, ya que necesitaríamos saber $Z$ : $$ w(x) = \frac{Z \ \pi(x)}{|h(x)|\pi(x)}$$ Pero, si asumimos $g(x)$ se puede muestrear, ¿podemos utilizar el estimador de muestreo de importancia de la proporción?: $$ \frac{\int w(x)h(x)g(x) dx}{\int w(x)g(x)dx}$$ Para ser claros, el estimador también puede escribirse dejando que $\{x^{(i)}\}_{i=1}^N$ sea un conjunto de muestras de una distribución con densidad $g(x)$ (mágicamente). Dejamos que $$w(x^{(i)}) = \frac{1}{|h(x^{(i)})|}$$ haciendo el estimador final: $$ \mathbb{E}[h(x)] \approx \frac{\sum_{i=1}^N w(x^{(i)})h(x^{(i)})}{\sum_{i=1}^N w(x^{(i)})} $$

Entonces, ¿es cierto que el estimador anterior es asintóticamente insesgado (consistente)? ¿O me he perdido algo? Si efectivamente es insesgado, ¿podría utilizarse junto con los enfoques de Montecarlo para tomar muestras de $g(x)$ ya que pueden utilizarse (en teoría) para tomar muestras de cualquier distribución conocida hasta una constante de normalización.

Editar: corregido un error tipográfico, también, he sido capaz de demostrar que esto es consistente, así que mi nueva pregunta es: ¿es una buena idea? ¿Hay algún documento que analice esto? ¿Tiene un nombre estándar?

Answer 1

Esta es una pregunta interesante [y muy lejos de ser "estúpida"] que en realidad me preocupó durante un tiempo. Lo tratamos en Métodos estadísticos de Monte Carlo (Sección 3.3.2, páginas 95-96). El quid de la cuestión es que, al dividir por la suma de los pesos, la optimalidad desaparece. En realidad, es fácil ver cuando $h$ es una función positiva. En este caso, $$ w(x) h(x) = 1 $$ y $$ w(x) = \frac{1}{h(x)} $$ así que $$ \widehat{\mathbb{E}[h(X)]} = \dfrac{1}{\frac{1}{n}\sum_{i=1}^n \frac{1}{h(x_i)}} $$ que es el la temida media armónica (véase también este gran y definitivo post de Radford Neal ). El estimador es consistente (en el sentido de la Ley de los Grandes Números) pero es probable que tenga una varianza infinita (¡lo que nos aleja de la optimización de la varianza mínima del estimador original!)

La razón fundamental por la que no se transfiere la optimidad es que la varianza de la relación es bastante diferente de la varianza de la estimación original del muestreo de importancia y, por tanto, no se optimiza para la misma función de importancia. Lamentablemente, dado que no existe una expresión de forma cerrada para la varianza de la proporción (sólo se dispone de aproximaciones con métodos delta), no hay un resultado definitivo sobre la solución óptima $g$ . Por supuesto, se podrían utilizar diferentes funciones de importancia óptimas para la parte superior y la inferior, pero esto no lleva a ninguna parte en la práctica.