¡El algoritmo EM disminuye!

Question

He utilizado el Bayes Net Toolbox para construir una pequeña red, que consta de 3 nodos y se muestra a continuación.

El nodo 1 es una variable aleatoria Bernoulli, el nodo 2 es una variable aleatoria Gaussiana y el nodo 3 es una variable aleatoria softmax con 3 valores posibles. Los datos son incompletos, así que utilizo el algoritmo EM para estimar los parámetros. Pero la log-verosimilitud disminuye desde el principio y se detiene cuando las dos últimas iteraciones son iguales.

¿Alguien conoce la posible solución a esta situación?

Answer 1

Si se incluyera una distribución a priori, entonces un algoritmo EM convergería a la moda de la distribución posterior. En tal caso, la probabilidad logarítmica puede disminuir, pero el término combinado de (probabilidad logarítmica + prioridad logarítmica) aumentaría en cada iteración.