Hamiltoniano de Monte Carlo: ¿por qué se reparameterizing necesarios?

Question

En el Stan manual del usuario (Versión 2.0.1, página 157), dice:

Un modelo jerárquico como el anterior se va a sufrir el mismo tipo de ineficiencias... [para un Hamiltoniano método de Monte Carlo] debido a que los valores de beta, mu_beta y sigma_beta están altamente correlacionados en la parte posterior

Luego recomendar reparameterizing el modelo para evitar este problema.

No estoy seguro de que tengo buena intuición acerca de por qué las correlaciones sería un problema. Pensé que todo el punto de Hamiltonianos de Monte Carlo fue que era invariante a la rotación. Así que no importa si la parte posterior está alineado con los ejes o si correlaciones poner el eje principal en un ángulo.

La mejor opcion que se me ocurre es que, si las correlaciones llegar a ser extremas suficiente, la posterior podría terminar muy largo y estrecho, y que algo acerca de la diferencia en las escalas de las causas de los problemas. Pero no estoy seguro de que esta es una interpretación razonable.

Answer 1

Hamiltoniana de Monte Carlo es a menudo citado como la rotación de todos los idiomas, pero ¿qué significa esto?

En teoría Hamiltoniana de Monte Carlo (HMC) es independiente de las coordenadas elegidas para representar a su distribución, con lo que en realidad significa es tanto la rotación y la escala invariante. El problema es que, en la práctica, no se pueden publicar HMC exactamente y en su lugar debe utilizar integradores numéricos para la aproximación. Es el integradores numéricos que presentan una sensibilidad a las correlaciones y las escalas -- la más isotrópica la distribución de destino el mejor comportamiento de la empresa integradora.

Dicho esto, el reparameterizations recomendado para los modelos jerárquicos son en realidad un poco más sutil. El problema no es correlaciones en el sentido clásico, sino más bien las correlaciones en el sentido jerárquico. Estos introducir diferentes pero igualmente interesantes problemas para HMC que puede estar mediada por no centrado parametrizaciones que hábilmente cambio de las correlaciones alrededor. Para más detalles consulte nuestra reciente preprint, http://arxiv.org/abs/1312.0906.