La comprensión de maximización de la expectativa por simple 2 lineal mezcla de caso

Question

Agradecería algo de ayuda para obtener algunos EM cosas rectas. Así, decir que la generación de datos en R como sigue:

N       <- 100
epsilon <- rnorm(N)
X       <-  10*runif(N)
beta.0  <- 10
beta.1  <-  3
sigma   <- 2
Y       <-  beta.0 + beta.1 * X + sigma * epsilon
epsilon2 <- rnorm(N)
X2 <- 10*runif(N)
Y2 <-  3 - X2 + 0.25 * epsilon2
Y.mix <- c(Y, Y2)
X.mix <- c(X, X2)

Ahora, en la maximización de la expectativa, en el primer paso, tengo algunas probabilidad anterior, decir 0.5, de los datos de uno u otro tipo de distribución. Así, el uso de EM sé que puedo estimar la media y la varianza de las dos mezclas. A partir de la observación de la densidad de la trama, parece que los medios son alrededor de -2, y de 30 para los datos simulados. Pero, ¿en qué etapa de EM hago una copia de la beta? Quiero recuperar la pendiente, el intercepto y la sd la desviación de los parámetros para el 2 de regresión de tipo de ecuaciones.

Gracias por la aclaración.

Answer 1

Usted acaba de hacer esto como parte del algoritmo. Por lo que se podría a) seleccione la observación de $Y$ o $Y_2$, por el azar de la probabilidad b) el ajuste pertinente de regresión, dependiendo de en que parte de la mezcla que usted eligió.

Si usted también está la mezcla de más de $X$ así, esto no cambia el método anterior, que acaba de actuar como si la mezcla $X.mix$ corresponde a lo que usted eligió para $Y.mix$ (es decir, si usted eligió $Y$, a continuación, supongamos $X$, si usted eligió $Y_2$ a continuación, supongamos $X_2$)

Hacer esto una vez para cada Y. Entonces usted necesita una manera de relacionar sus predicciones a el original de la probabilidad de estar en cada mezcla, que no ha especificado. De lo contrario, no hay nada para enchufe de nuevo en el inicio del algoritmo.

Una manera de pensar acerca de esto, es que una observación con un residual de baja, es probable que coincida con el correspondiente par (es decir, que elegiste $Y$ $X$ o$Y_2$$X_2$). Más aún, la gran muestreados $Y_2$ valores de probabilidades de ser falso, y la pequeña muestreados $Y$ valores son propensos a estar equivocado. El uso de este tipo de información le ayudará a actualizar la mezcla de probabilidades.

Answer 2

Es una mezcla de los modelos que tienes. Así que para empezar, poner la mezcla de la identificación de la variable en la que no la tienen todavía. Es un indicador de la variable de decir si un caso se trata de una regresión (es decir Z=0) o de los demás (por ejemplo, Z=1). Probablemente va a entrar en el modelo completo en la forma de una interacción con una pendiente y/o interceptar a permitir que estos a cambio dependiendo de la regresión, se genera el punto (aunque más complejos que otros arreglos son posibles). Formular que el modelo de cuidado para garantizar que la mezcla de las dependencias de lo que quieres - hay un montón de posibilidades.

Ahora, si Z se observó te gustaría saber cómo ajustar el modelo completo y obtener las betas de ello, porque no habría nada de lo observado en el lado derecho de la misma. Pero suponiendo que ver únicamente los datos y las covariables, no la observan. Sin embargo, han asumido un modelo completo de cómo se generan datos para cada valor de Z. Así (E-step) utilizar para obtener una distribución posterior sobre los posibles valores de Z para cada punto de datos utilizando el modelo con los parámetros que se pone de pie y algunos antes de la suposición sobre la distribución de Z (o podría estimar que demasiado). Recordemos que la probabilidad posterior de Z=1, sólo es la expectativa de la a a la Z. Ahora (M-paso) el uso que se espera de Z como si fuera una verdadera observación de Z para volver a montar todo el modelo. Los datos completos de la probabilidad, en circunstancias normales, no va a bajar.

Alternar este proceso hasta que la probabilidad de los datos bajo el modelo deja de aumento, recuperar el conjunto final de las betas, espero que usted no está en un mínimo local, y declarar que se ha estimado.