Estoy tratando de estimar una distribución subyacente a partir de unos pocos puntos de datos. Estoy utilizando una técnica de actualización bayesiana y esto funciona bastante bien (ver mi otra pregunta ). Sin embargo, actualmente utilizo un conjunto discreto de hipótesis $P(a|i)$ con el peso o la previa $P(i)$ . La variable de datos es $a$ mis hipótesis se enumeran en $i$ .
Ahora me gustaría ir a un conjunto suave de hipótesis, por ejemplo $P(a|\theta)$ o $P(a|\mu,\sigma)$ con un poco de $P(\mu,\sigma)$ . Entonces la expresión para $P(a)$ se convierte en una integral de marginación:
$$P(a) = \int_\theta P(a|\theta) P(\theta)\,d\theta$$
Esto es fácil si $P(\theta)$ es sencilla (por ejemplo, plana), pero ¿cómo la represento después de una actualización de conocimientos (especialmente en un programa)? El conocimiento previo actualizado ya no tiene una forma funcional agradable. Podría volver a discretizarla, pero eso limita mi precisión (y puede ser factible ahora en 2D, pero empeora si añado más parámetros).
Podría tomar una muestra al azar $(\mu,\sigma)$ puntos, pero sólo veo cómo eso me lleva a través de una iteración. Me permite calcular $P(a)$ para un determinado $a$ . Quiero utilizarlo para actualizar mi anterior a la luz de nuevos datos $a^*$ :
$$P(\theta)\bigg|_\mathrm{new} = P(\theta|a^*) = \frac{P(a^*|\theta)}{P(a^*)} P(\theta)$$
Como la suma sobre puntos aleatorios estaría en $P(a^*)$ y después de la primera iteración también en $P(\theta)$ Esto explotaría rápidamente desde el punto de vista computacional. Estoy seguro de que hay técnicas bien conocidas para representar $P(\theta)$ y realizar la integración, y sería estupendo que alguien me indicara cómo hacerlo.
