7 votos

Variables latentes, sobreparametrización y convergencia MCMC en modelos bayesianos

A veces tengo un gran número de variables latentes en un modelo jerárquico Bayesiano para que, pero yo sólo estoy interesado en la estimación proyectada transformaciones de esas variables latentes (por ejemplo, voy a parametrizar una binomial de parámetros como la inversa logit de un conjunto de posiblemente-no identificable covariables, a pesar de que el resultado que me interesa es el binomio estimación del parámetro).

La proyección de transformaciones a menudo convergen de manera muy rápida (basado en la convergencia de diagnóstico, tales como la Gelman/Rubin o mirando hacia la parte posterior de las muestras), incluso si las variables latentes no han convergido.

Intuitivamente este sentido, el modelo puede ser una overparameterization donde la latente parámetros no son identificables - los derivados de las cantidades que están obligados a estar en un limitado a un estrecho alta probabilidad región de las variables transformadas' espacio de parámetros que se asigna a una mucho más grande en gran parte plana de la probabilidad (pero limitado) de la región de la variable latente en el espacio de parámetros.

Así es la intuición correcta de que yo no debería estar preocupado de que el overparameterized variables latentes no son identificables y no son totalmente convergente cuando me tome mi posterior de las muestras? Hay algunas buenas referencias que discutir el uso de la no-identificado variables latentes de esta manera? He oído algo de debate sobre la overparameterizing para acelerar la mcmc convergencia, pero no estoy del todo claro cómo pensar acerca de esto, como los enfoques y actitudes hacia overparameterization y no identificabilidad en bayesiano métodos parece ser un poco diferente que en otras áreas de modelado.

5voto

Cyan Puntos 1965

Así es la intuición correcta de que yo no debería estar preocupado de que el overparameterized variables latentes no son identificables y no totalmente convergente cuando me tome mi posterior de las muestras?

Creo que su intuición es correcta: usted no debería estar preocupado de que el overparameterized variables latentes no son identificables y no totalmente convergente. De hecho, las variables latentes probable es que no puede converger; mi entendimiento es que en esta situación el estado pleno espacio de la cadena es nula recurrente, aunque por su cuenta, es una transformación del estado en el espacio de menor dimensión en la que la cadena está lleno recurrente (y por lo tanto tiene una distribución estacionaria). Para lo que vale, la he creado deliberadamente y utilizar MCMC cadenas de mí, en mi investigación aplicada.

A veces, los procesos estocásticos con estas características se utilizan para el modelo de datos de series de tiempo (palabra clave: cointegración). Un rápido vistazo a esta trama podría generar algo de intuición:

La figura superior muestra dos precio de series de tiempo, que uno podría pensar que como no estacionarias debido a la inflación, aunque no de la inflación puede ser visto en la escala de tiempo de la trama. Aunque cada vez que la serie se toma solo es no estacionaria, puede existir un pequeño dimensiones del colector dentro de la plena espacio de estado (en este caso, el "spread", es decir, la diferencia de la serie de tiempo) tal que el proceso estocástico generada por la proyección de el proceso original en el colector es estacionaria.

Hay algunas buenas referencias que discutir el uso de la no-identificado variables latentes de esta manera?

No sé de ninguna de las referencias que tratan sobre el uso de la no-identificado variables latentes en esta misma forma, pero aquí hay un informe técnico y un informe publicado sobre el tema por Andrew Gelman, y aquí es más reciente manuscrito por un autor que creo que podría estar más cerca de lo que usted está haciendo que los dos anteriores referencias.

i-Ciencias.com

I-Ciencias es una comunidad de estudiantes y amantes de la ciencia en la que puedes resolver tus problemas y dudas.
Puedes consultar las preguntas de otros usuarios, hacer tus propias preguntas o resolver las de los demás.

Powered by:

X