Sobre la estricta convexidad de la función log-sum-exp

Question

La función log-sum-exp $f: \; \mathbb R^n \to \mathbb R$ se define por

$$f(x)= \ln \left (e^{x_1}+ \cdots + e^{x_n} \right ).$$ Es bien sabido que esta función es convexa, pero me pregunto si $f$ es estrictamente convexo?

Gracias por cualquier respuesta.

Answer 1

No, no lo es. Considere el caso cuando $x_1 =\dots=x_n=y$ . Entonces $f(x)=y+\log n$ . La función es afín a lo largo de esta línea, por lo que no es estrictamente convexa.

De hecho, es afín a lo largo de cualquier línea de la forma $x = y \vec{1} + b$ , donde $b$ es constante: $f(x) = y + \log\sum_i e^{b_i}$ .

EDIT: Richkent quiere saber si hay otras líneas por las que $f$ es afín. La respuesta es no. Para ver por qué, veamos el hessiano de $f(x)$ que tiene una estructura especial: $$\nabla f(x) = g, \quad \nabla^2 f(x) = \mathop{\textrm{diag}}(g) - gg^T, \quad g \triangleq \frac{1}{\sum_i e^{x_i}} \begin{bmatrix} e^{x_1} \\ \vdots \\ e^{x_n} \end{bmatrix}$$ Observe que $g\succ 0$ y $\vec{1}^Tg = 1$ Así que $\vec{1}^T \nabla^2f(x) \vec{1} = 0$ . Esto confirma que $f$ es afín en las direcciones $v=\alpha\vec{1}$ .

Pero también hay que tener en cuenta que $\nabla^2 f$ es una modificación de rango 1 de una matriz definida positiva $\mathop{\textrm{diag}}(g)$ . Esto es importante, porque nos dice que $\mathop{\textrm{rank}}(\nabla^2 f(x))=n-1$ y, por lo tanto, que $v=\alpha\vec{1}$ son los sólo vectores para los que $v^T\nabla^2 f(x) v=0$ . Así, $f$ es estrictamente convexo a lo largo de cualquier otra dirección.

Para ver esto un poco mejor, veamos la función $g(t)=f(x+tv)$ , donde $(x,v)$ son fijos. Esto es sólo una porción de $f$ a lo largo de la línea $x+tv$ por lo que, por supuesto, es convexo. La segunda derivada de $g$ es $$g''(t) = v^T \nabla^2 f(x+tv) v.$$ Si $v=\alpha\vec{1}$ entonces $$g''(t) = v^T\nabla^2 f(x+tv) v=\alpha^2\vec{1}^T\nabla^2(x+tv)\vec{1}=0$$ confirmando que $g$ es afín si $v=\alpha\vec{1}$ . Pero si $v\neq\alpha\vec{1}$ entonces $$g''(t) = v^T\nabla^2 f(x+tv) v>0$$ lo que significa que $g$ es estrictamente convexo.