Aproximaciones de verosimilitud para problemas de parámetros compartidos

Question

En los modelos gráficos se tiende a explotar la independencia condicional para factorizar la probabilidad y simplificar el problema. Por simplificar me refiero a que la dimensión se reduce debido a la factorización. Por ejemplo:

Considere 3 variables aleatorias $y1,y2$ y $y3$ y considerar la estructura del grafo $$y1 \rightarrow y3 \leftarrow y2$$

En este caso podemos escribir la densidad conjunta $$f(y1,y2,y3)=f(y1)f(y2)f(y3|y1,y2)$$ Tal factorización nos permite optimizar los factores $\Big((f(y1);f(y2);f(y3|y1,y2)\Big)$ Esta factorización reduce en gran medida la dimensionalidad del problema.

¿Y si los factores, por ejemplo $f(y1)$ y $f(y3|y1,y2)$ tienen parámetros compartidos. En este caso no podemos maximizar la probabilidad conjunta mediante la maximización de cada factor por separado. ¿Cuáles son las aproximaciones utilizadas en estos casos? ¿Cuáles son algunos de los documentos o palabras clave que se utilizan para realizar esta tarea?

Answer 1

Siguiendo su ejemplo, digamos que tenemos $f(y1; \theta, \theta_1), f(y2; \theta_2),$ y $f(y_3|y1,y2; \theta, \theta_3)$ entonces \begin{align*} f(y_1,y_2,y_3; \theta, \theta_1, \theta_2, \theta_3) &= f(y_1; \theta, \theta_1)f(y_2; \theta_2)f(y_3|y1,y2; \theta, \theta_3)\\ \log f(y_1,y_2,y_3; \theta, \theta_1, \theta_2, \theta_3) &= \log f(y_1; \theta, \theta_1)+\log f(y_2; \theta_2) + \log f(y_3|y1,y2; \theta, \theta_3) \end{align*} Así que la maximización de la probabilidad conjunta con respecto a $\theta$ es simplemente maximizar $$\sum_i \{\log f(y_{1i}; \theta, \theta_1) + \log f(y_{3i}|y_{1i},y_{2i}; \theta, \theta_3)\}$$