Edición: La restricción de norma en el problema de optimización en la pregunta a continuación no estaba presente anteriormente. Pido disculpas al usuario que respondió, user1551, quien tuvo que dedicar su tiempo y esfuerzo por mi error.
Sean $A$ y $B$ dos matrices hermitianas semi-definidas positivas dadas, ¿cuál es la solución para \begin{align} \max_{||x||_2=1}\frac{x^HAx}{x^HBx+1}. \end{align} Estoy buscando soluciones en forma cerrada. Si el denominador no tuviera ese $1$, esto sería un cociente de Rayleigh generalizado estándar e sería ilimitado.
NOTAS
Sé cómo resolverlo numéricamente. El truco es reescribirlo como \begin{align} \max_{x,t}~&t\\ \text{s.t.}~~&x^H(A-tB)x>=t \end{align} Luego encontrar el valor más grande de $t$ tal que existe un $x$ que satisface $x^H(A-tB)x>0$. Una búsqueda por bisección en $t$ hará el trabajo.