convexidad de dos funciones convexas combinadas

Question

Si tengo un problema de optimización de este tipo: $$ \arg\min_{x,z} \dfrac{||y-x||_2^2}{z}+z(||y-x||_2^2) $$ donde $y$ es conocida y $z>0$ .

Si $z$ es fija, entonces esta función con respecto a $x$ es convexa. Del mismo modo, si $x$ esta función con respecto a $z$ también es convexa. Sin embargo, me pregunto:

1. Es la función original con respecto a $x$ y $z$ ¿convexo conjuntamente?
2. Si es así, ¿puedo optimizar la función alternativamente fijando $x$ resolver $z$ y fijación $z$ resolver $x$ ¿hasta converger?
3. ¿Hay algún documento o material pertinente que deba leer para este tipo de pregunta?

Answer 1

Esto no es convexo conjuntamente en x y z, incluso cuando z > 0.

Consideremos el ejemplo x y z siendo ambos 1-D. Sea y=0, x=1, z=2. El hessiano con respecto a x y z tiene valores propios 5,43 y -0,18, por lo que es indefinido.

Te sugiero que intentes utilizar un optimizador no lineal no convexo de propósito general en el que puedas imponer la restricción de no negatividad sobre z. O bien utilizar un optimizador local, o usted podría tratar de usar un optimizador global, como BARON, si la dimensión del problema no es demasiado alto. Si utiliza BARON, tendrá que poner límites finitos inferior y superior en todas las variables - si se alcanzan en el óptimo, entonces usted necesita ajustar.

Te sugiero que pruebes los optimizadores disponibles en el mercado antes de intentar crear tu propio algoritmo. Puedes intentar una optimización alternante como la que propones en 2, pero no creo que haya ninguna garantía de que converja, y si converge, de que lo haga a la respuesta correcta.