Algoritmo EM para variables aleatorias exponenciales

Question

Supongamos que $X_i\sim Exp(\lambda)$ son variables aleatorias iid. Además, para $1=1,\ldots,n$ dejar $Y_i=I\lbrace X_i>c_i\rbrace$ donde los umbrales $c_1,\ldots,c_n$ son constantes conocidas en $(0,\infty)$ .

a) Derive la recursión EM para calcular el MLE de $\lambda$ basado en $Y_1,\ldots,Y_n$ .

b) Dar la primera a los iterados, $\hat{\lambda}_1$ et $\hat{\lambda}_2$ si la conjetura inicial es $\hat{\lambda}_0=1$ y hay 3 observaciones: $Y_1=1$ , $Y_2=1$ et $Y_3=0$ con $c_1=1$ , $c_2=2$ et $c_3=3$ .

Tengo que presentar este ejercicio en clase. He leído el capítulo sobre el algoritmo EM, pero no hay ejemplos, así que no entiendo cómo hacer el ejercicio. Cualquier ayuda es muy apreciada :)

Answer 1

El algoritmo EM tiene dos pasos. Primero se encuentra la probabilidad logarítmica esperada (donde la expectativa se toma bajo los parámetros actuales y condicional a cualquier dato que se pueda ver) y luego se ajustan los parámetros en la función de probabilidad para maximizar esto, y luego se itera usando estos nuevos valores de los parámetros.

Seguramente ya habrás leído todo eso, así que supongo que lo repasaré poco a poco en este ejemplo.

Aquí sus datos observados son $Y_i = I(X_i>c_i),$ En otras palabras, sólo se sabe qué variables fueron mayores que sus umbrales.

Se busca la log-verosimilitud. Para los datos exponenciales esto es simplemente $$ l(\lambda;X_i) = n\ln(\;\lambda) - \lambda\sum_i X_i$$

Ahora tenemos que tomar el valor esperado de este bajo el parámetro actual $\lambda_t$ y condicionado a nuestras observaciones $y_i$ de la $Y_i.$ El valor esperado es $$ E(l(\lambda;X_i)|Y_i=y_i,\lambda_t) = n\ln(\lambda)-\lambda\sum_iE(X_i|Y_i=y_i,\lambda_t).$$

Esto se maximiza en $$ \lambda_{t+1} = \frac{n}{\sum_iE(X_i|Y_i=y_i,\lambda_t)}$$

Así que para terminar, necesitamos calcular los valores esperados condicionales de los $X_i.$ Si $y_i=0$ es decir $X_i<c_i$ por lo que necesitamos la media condicional de $X_i:$ $$ E(X_i|Y_i=0,\lambda_t) = E(X_i|X_i<c_i; \lambda_t) = \frac{\lambda_t}{1-e^{-\lambda_t c_i}} \int_0^{c_i}x_ie^{-\lambda_t x_i}dx_i\\ = \frac{1}{\lambda_t}\left(1- \frac{\lambda_tc_i}{e^{\lambda_tc_i}-1}\right).$$ y en consecuencia, $$ E(X_i|Y_i=1,\lambda_t) = \lambda_te^{\lambda_tc_i}\int_{\lambda_tc_i}^\infty x_i e^{-\lambda_tx_i}dx_i \\ = \frac{1}{\lambda_t}(1+\lambda_t c_i).$$

Podemos escribirlo sucintamente como $$ E(X_i|Y_i=y_i,\lambda_t) = \frac{1}{\lambda_t}\left(1+ y_i\lambda_tc_i + (y_i-1)\left(\frac{\lambda_tc_i}{e^{\lambda_t c_i}+1}\right)\right).$$

Así que resumimos esto $i$ y a continuación se introduce en la expresión $$ \lambda_{t+1} = \frac{n}{\sum_iE(X_i|Y_i=y_i,\lambda_t)}$$

para obtener el nuevo valor $\lambda_{t+1}.$ Y luego, iteramos. Hazlo todo de nuevo para usar el valor inicial $\lambda_{t+1}$ en lugar de $\lambda_t.$