A primera vista, yo diría que parece difícil encontrar una solución de forma cerrada que depende directamente de la $B$. El uso de simple álgebra, uno puede cambiar el objetivo, como:
${\rm det}\left({\bf I}+{\bf AQA^HB^{-1}}\right) = {\rm det}\left({\bf B}+{\bf AQA^H}\right) {\rm det}\left(\bf B^{-1}\right) = {\rm det}\left(\bf B^{-1/2}\right){\rm det}\left({\bf B}+{\bf AQA^H}\right) {\rm det}\left(\bf B^{-1/2}\right) = {\rm det}\left({\bf I}+{\bf B^{-1/2}AQA^HB^{-1/2}}\right)$
A partir de aquí, escribir $C = B^{-1/2}A$, y escribir su enfermedad vesicular porcina como $C = U_C \Sigma_C V_C^T$ y el SVD de a$Q$ como $Q = U_Q \Sigma_Q U^T_Q$ (como P es simétrica, entonces tenemos que el objetivo es:
${\rm det}\left( I + U_C \Sigma_C V_C^T U_Q \Sigma_Q U_Q^T V_C \Sigma_C U_C^T\right)$
Podemos tomar las matrices ortonormales $U_C$ fuera del objetivo (como $I = U_C U_C^T$) y (y aquí me haría falta un sistema más formal de la prueba), me gustaría esperar que el optimizador ha $U_Q = V_C$, como intuitivamente tiene sentido que el determinante se maximiza cuando se $Q$ es máximamente alineado con $C$ en términos de los vectores singulares (con una lógica similar a la de Von Neumann de seguimiento de la desigualdad). A continuación, el objetivo sería así:
${\rm det}\left( I + \Sigma_C \Sigma_Q \Sigma_C \right) = \prod_i^N \left(1+\sigma_i(C)^2 \cdot \sigma_i(Q)\right)$,
y supongo que usted puede encontrar fácilmente una solución de forma cerrada para que en virtud de la restricción de $trace(Q) == 1$. Pero como se puede ver, el optimizador dependerá de los valores singulares de a$C=B^{-1/2}A$, por lo que no será sencillo para relacionar los valores de $B$ a los valores singulares de a$C$, al menos sin asumir nada acerca de $A$.
¿Hay algo más que puede suponer sobre $A$?