18 votos

Hacer técnicas de optimización de mapa a las técnicas de muestreo?

De cualquier genérico algoritmo de muestreo, se puede derivar un algoritmo de optimización.

De hecho, para maximizar una función arbitraria $f: \textbf{x} \rightarrow f(\textbf{x})$, es suficiente para la extracción de muestras de $g \sim e^{f/T}$. Para $T$ lo suficientemente pequeño, estas muestras se caiga cerca del máximo global (o los máximos locales en la práctica) de la función de $f$.

Por "muestreo" quiero decir, el dibujo de un pseudo-muestra aleatoria de una distribución dada una función de verosimilitud logarítmica conocido a una constante. Por ejemplo, MCMC de muestreo, el muestreo de Gibbs, Haz de Muestreo, etc. Por "optimización" me refiero al intento de encontrar los parámetros de la maximización del valor de una función dada.


Es a la inversa? Dada una heurística para encontrar el máximo de una función o una expresión combinatoria, podemos extraer un eficiente procedimiento de muestreo?

HMC por ejemplo, parece tomar ventaja del gradiente de la información. Podemos construir un procedimiento de muestreo que se aprovecha de un BFGS-como aproximación de Hesse? (edit: al parecer sí: http://papers.nips.cc/paper/4464-quasi-newton-methods-for-markov-chain-monte-carlo.pdf) Podemos utilizar MCTS en problemas de combinatoria, podemos traducir que en un procedimiento de muestreo?

Contexto: una dificultad en el muestreo es a menudo que la mayoría de la masa de la distribución de probabilidad se encuentra dentro de una región muy pequeña. Hay interesantes técnicas para encontrar esas regiones, pero que no se traducen directamente en imparciales de los procedimientos de muestreo.


Edit: ahora tengo una persistente sensación de que la respuesta a esa pregunta es algo equivalente a la igualdad de la complejidad de las clases de #P y NP, haciendo que la respuesta de una probable "no". Explicar por que cada técnica de muestreo de los rendimientos de una técnica de optimización, pero no viceversa.

4voto

karatchov Puntos 230

Una conexión ha sido planteada por Max Welling y amigos en estos dos artículos:

Lo esencial es que el "aprendizaje", es decir,. la optimización de un modelo de fluidez de las transiciones en el muestreo de la parte posterior.

3voto

Colin Wren Puntos 11

Hay un vínculo, es el Gumbel-Max truco !

http://www.cs.toronto.edu/~cmaddis/pubs/astar.pdf

0voto

OpenAndroid Puntos 116

Una posibilidad es encontrar la CDF de la heurística. Luego de monte carlo, la teoría sabemos que para $ U \sim unif[0,1]$ que $F^{-1}(U) \sim F$ donde F es la cdf de la distribución que usted está después. Si usted no puede encontrar el cdf exactamente, se puede utilizar un simple acceptemce el rechazo basado en heurística.

i-Ciencias.com

I-Ciencias es una comunidad de estudiantes y amantes de la ciencia en la que puedes resolver tus problemas y dudas.
Puedes consultar las preguntas de otros usuarios, hacer tus propias preguntas o resolver las de los demás.

Powered by:

X