¿Es la función de entropía sobre el simplex diferenciable?

Question

Consideremos la función de entropía sobre el simplex,

$f(x) = \sum\limits_{i = 1}^J x_i \log(x_i), x_i \geq 0, \sum\limits_{i = 1}^J x_i =1$ y $f(x) = +\infty$ en todos los demás lugares

Esta función se da en el libro de Boyd y Vanderberg Pg. 93.

Mi pregunta es si esta función es diferenciable, es decir, si $\nabla f(x)$ ¿Existe?

Suponía que sí existe, porque tomar una derivada con respecto a cada $x_i$ me da $(\nabla f(x))_i = (1 + \log(x_i))$ .

Pero vi alguna discusión en internet (no la encuentro ahora, quizás aquí: https://johncarlosbaez.wordpress.com/ ) que esta función no es diferenciable. Lo que también tiene sentido, porque la esquina aguda de esta función.

Entonces, si no es diferenciable, ¿cuál es la $(1 + \log(x_i))$ término después de tomar su gradiente como de costumbre?

Answer 1

Como función sobre el simplex, es diferenciable en todos los puntos donde todos $x_i > 0$ (es decir, en todos los puntos interiores del simplex).

Answer 2

Aunque la respuesta de Robert es correcta tal y como la expuso con precisión, hay una razón por la que solemos decir que $f(x)=x\log x$ es no diferenciable.

Al menos en un entorno de optimización convexa (y probablemente en otros dominios), requerimos que las funciones diferenciables tengan un Abrir dominio; y si la frontera del dominio no es vacía, la función debe acercarse al infinito en esa frontera. es decir, $$x\rightarrow\mathop{\textrm{Bd}}(\mathop{\textrm{dom}}(f)) \quad\Longleftrightarrow\quad f(x)\rightarrow +\infty \text{or}f(x)\rightarrow-\infty$$ Al fin y al cabo, si no fuera así, habría una extensión continua obvia de la función en la frontera, o que el dominio de la función estuviera "restringido artificialmente" en algún sentido. En el caso de las funciones convexas, este criterio de frontera significa que la función sirve de función de barrera para su dominio.

Así, por ejemplo, la función $f(x)=-\log x$ con un dominio $x\in(0,+\infty)$ es diferenciable en cada punto de su dominio. También se aproxima a $+\infty$ como $x\rightarrow 0$ que es el único punto límite en su dominio. Por tanto, es diferenciable según nuestro criterio.

Por otro lado, $f(x)=x\log x$ puede definirse naturalmente para satisfacer $f(0)=0$ apelando a la continuidad. Así que su dominio natural es $x=[0,+\infty)$ . Y aunque es diferenciable para los positivos $x$ como afirma Robert, no es diferenciable en 0, por lo tanto la función no es diferenciable.

Podrías dejar nuestro $f(0)$ y definir el dominio como $x\in(0,+\infty)$ pero entonces te quedas con una función que no se acerca a $+\infty$ en el límite de su dominio.

El requisito de la barrera puede parecer arbitrario, pero tiene importantes consecuencias teóricas y prácticas en el análisis convexo y la optimización. Por ejemplo, porque la derivada de $x\log x$ se acerca a $+\infty$ cerca del origen, viola los supuestos de continuidad utilizados para demostrar la convergencia de ciertos métodos de optimización.