¿Cómo saber si existen derivados en el hamiltoniano de Monte Carlo?

Question

En la sección 3.2 de Radford Neal tomar en HMC dice:

También debemos ser capaces de calcular las derivadas parciales de la de registro de la función de densidad. Estos derivados por lo tanto debe existir, excepto tal vez en un conjunto de puntos con una probabilidad de cero, para que algún valor arbitrario podría ser devuelto.

Este es w.r.t. las ecuaciones de Hamilton:

\begin{equation} \frac{\partial \theta}{\partial t} = \frac{K (\mathbf{p})}{\partial \mathbf{p}_i} \ \wedge \ \frac{\partial \mathbf{p}_i}{\partial t} = -\frac{U (\theta)}{\partial \theta_i} \end{equation}

donde $i \in \{1,\ldots,d\}$ donde $d$ el número de dimensiones de la matriz de parámetros. Y $\theta$ son las posiciones y $\boldsymbol p$ el momenta.

Así que aquí está mi embarazosa pregunta: ¿cómo podemos saber si estos derivados existen?

Answer 1

La siguiente es una estimación de la exposición de lo que el requisito para la diferenciabilidad en los parámetros que se quiere decir aquí.

$U$ implica el registro posterior a una constante aditiva donde $\theta$ son los parámetros del modelo. El requisito para la diferenciabilidad es esencialmente la que uno puede hacer de un minúsculo cambio en un parámetro de $\theta$ y este devolverá un cambio pequeño en la parte posterior de la $U(\theta)$.

Problemas de este tipo a menudo aparecen en algunos casos importantes:

• Los parámetros que puede tomar sólo un par de valores discretos. E. g. cuenta, categorías, variables binarias. A ver que piensan sobre lo que sucede si tenemos $U(\theta)$ definido en $\theta \in \{\ 0, 1\}$. Entonces, ¿qué sucede si queremos agregar un número pequeño de nuestro parámetro por ejemplo,$\theta' = \theta + 1/100000$? Obtenemos un valor que ya no es válida incluso enchufe en nuestra $U$.
• Parámetros en intervalos de al menos uno de los límites, e.g longitudes, tiempos, etc. (¿qué sucede si nos tomamos un pequeño paso a la izquierda en $\theta=0$ cuando tenemos un requisito de que $\theta \geq 0$?)

HMC necesidades de este, ya que funciona mediante la adición de pequeños cambios a $\theta$. El la diferenciabilidad requisito es, entonces, más o menos que la probabilidad no se cae de un acantilado si hacemos un pequeño cambio a $\theta$.

Soluciones existen para muchos de estos problemas, pero generalmente se requiere de reparameterisation de la probabilidad y de antes.

EDIT: he centrado en el por aquí porque no es suficiente para demostrar que una función no es diferenciable en todas partes (un tema sobre el cual el CV puede ofrecer nada más que la wikipedia, que la cooperativa puede desear mirar también). Neal comentario es que el conjunto de discontinuties debe tener probabilidad cero.

Esta es la mano que se agita equivalente a decir que se va a explorar una habitación con los ojos vendados por tentativa de tomar medidas. Si la habitación es piquero atrapado, pero las trampas son lo suficientemente dispersos, entonces vamos a tener suerte y nunca paso en uno. Si las trampas no son lo suficientemente dispersas entonces si que deambulan por el tiempo suficiente vamos a volar.

En caso de ser volado significa conseguir dividir por ceros, registro de cero, o algunos otros, más extrañas posibilidades.