muestreo en rodajas dentro de un muestreador de Gibbs

Question

Preguntas

Mis preguntas son:

1. ¿Es válido el siguiente enfoque de muestreo de cortes dentro de Gibbs?
2. ¿Hay alguna buena referencia por ahí que lo utilice, o mejor aún, que lo justifique?

Contexto

Estoy tratando de muestrear de una distribución conjunta de alta dimensión, que voy a simplificar a $p(x, y)$ . Digamos que $x$ y $y$ son escalares por ahora. Me gustaría utilizar un muestreador de Gibbs para extraer muestras. Es decir, me gustaría iterar:

1. Muestra $x$ de su condicional completo, $p(x | y)$ .
2. Muestra $y$ de su condicional completo, $p(y | x)$ .

Por desgracia, no puedo tomar muestras de $p(x | y)$ o $p(y | x)$ directamente. En mi caso, también he intentado sustituir estos pasos de Gibbs por Metropolis-Hastings y muestreo de rechazo, pero los resultados fueron pobres. He obtenido resultados mucho mejores sustituyendo cada paso de Gibbs por un muestreador de cortes univariante. (Véase Documento de Radford Neal de 2003 para una explicación del muestreo de cortes). Ahora, hago un algoritmo de slice-sampling-within-Gibbs.

Slice-sampling-within-Gibbs

1. Utilizar el muestreo de cortes univariados para dibujar $x$ de $p(x | y)$ .
2. Utilizar un muestreo univariante separado e independiente para extraer $y$ de $p(y | x)$ .

En caso de que haya alguna confusión con el muestreo multivariante por partes, lo que quiero decir específicamente es:

1. Muestra $u$ de Uniform(0, $p(x|y)$ ).
2. Muestra $x$ de Uniformes $\{x : u < p(x | y)\}$ .
3. Muestra $v$ de Uniform(0, $p(y|x)$ ).
4. Muestra $y$ de Uniformes $\{y : v < p(y | x)\}$ .

donde los uniformes de los pasos 2 y 4 no se conocen con exactitud. (Además, no necesito las muestras de $u$ o $v$ Así que las descarto).

Answer 1

He encontrado dos referencias. Esta detalla el algoritmo, pero las páginas de acceso público que pude ver en Google Books no demuestran que funcione.

@inbook{cruz,
    Author = {Cruz, Marcelo G. and Peters, Gareth W. and Shevchenko, Pavel V.},
    Chapter = {7.6.2: Generic univariate auxiliary variable Gibbs sampler: slice sampler},
    Publisher = {Wiley},
    Title = {Fundamental Aspects of Operational Risk and Insurance Analytics: A Handbook of Operational Risk},
    Year = {2015}}

Otro, también parcialmente disponible en Google Books de forma gratuita, parece aludir al slice-sampling-within-Gibbs.

@inbook{banerjee,
    Author = {Banerjee, Sudipto and Carlin, Bradley P. and Gelfand, Alan E. },
    Chapter = {9.4.1: Regression in the Gaussian case},
    Edition = {2nd},
    Publisher = {CRC Press},
    Title = {Hierarchical Modeling and Analysis for Spatial Data},
    Year = {2015}}

Estoy de acuerdo, sería bueno encontrar una prueba sólida de validez, preferiblemente en una buena revista.

EDITAR: Incluso la famosa obra de Gelman "Bayesian Data Analysis" (3ª edición) menciona la idea. En la sección 12.3: Otras extensiones de Gibbs y Metrópolis, bajo el título "Slice sampling", el final del primer párrafo dice

El muestreo en rodajas se refiere a la aplicación de algoritmos de simulación iterativa algoritmos de simulación iterativa sobre esta distribución uniforme. Los detalles de la aplicación de un procedimiento eficaz de muestreo por partes puede ser complicado, pero el método puede aplicarse con gran generalidad y puede ser especialmente útil para el muestreo de distribuciones condicionales unidimensionales en una estructura de de Gibbs.

El famoso documento de Neal sobre el muestreo de rodajas de 2003 es donde creo que se sugirió por primera vez. El primer párrafo de la sección 4 dice

El muestreo por partes es más sencillo cuando sólo hay una variable (de valor real) se actualiza. Este será el caso, por supuesto, cuando la distribución de interés es univariante, pero lo más habitual es que los métodos de muestreo de una sola variable de esta sección se utilizarán para tomar muestras de una de una distribución multivariante para x = (x1,...,xn), muestreando repetidamente para cada una de las variables. Para actualizar xi, debemos ser capaces de calcular una función función, fi(xi), que sea proporcional a p(xi|{xj}j=i), donde {xj}j=i son los valores de las otras variables.

Sin embargo, todavía no puedo encontrar ninguna prueba de que sea correcto.

Answer 2

Por lo general, cualquier esquema MCMC válido para distribuciones univariantes puede aplicarse a una distribución condicional univariante como parte de un esquema MCMC para el muestreo de una distribución multivariante. Este hecho se utiliza ampliamente en toda la literatura sobre MCMC. Su demostración es sencilla. No es necesario demostrar nada especial a este respecto para el muestreo de trozos en particular.