¿Cómo combinar dos conjuntos de muestras de una distribución no normalizada?

Question

Imagina que tengo una distribución no normalizada $P$ con función de densidad $p(x)$ para $x \in \mathbb{R}^d$ . $P$ tiene dos modos bien separados y hay dos conjuntos de muestras i.i.d. con el tamaño $n$ que cada uno de ellos ha sido tomado de uno de los modos. Me gustaría saber cómo puedo combinar estas muestras de forma insesgada. En otras palabras $\hat{\mu}_i$ sea la estimación empírica de $\mu_i$ entonces me gustaría encontrar el $w_i$ que minimice el siguiente error:

$\min \quad (\sum_{i}w_i(\hat{\mu}_i-\mu_i))^2$

Gracias por su ayuda.

Saludos

Answer 1

He aquí una solución (véase el apartado 3.3) que utiliza la entropía de Renyi:

https://arxiv.org/pdf/1806.03816.pdf

Según el documento, suponiendo que tenemos la entropía de Renyi de las muestras de cada modo y la $p(x_i)$ para esas muestras, podemos encontrar el peso de cada modo y el estimador resultante es asintóticamente insesgado.

En la práctica, sin embargo, el problema/desafío es cómo encontrar la entropía: Los autores sugieren utilizar el paquete Information Theoretical Estimators [1] para estimar la entropía.

[1] Szabó, Zoltán. Information theoretical estimators toolbox. Journal of Machine Learning Research,15:283-287, 2014.