Esto huele muy mal. Espero que no esté pidiendo a los demás que hagan sus deberes.
De todos modos, primero comprobaremos rápidamente que $X$ tiene $n$ valores propios positivos y $m$ valores propios negativos. De hecho, tenemos lo siguiente congruencia relación: $$ \begin{pmatrix}I_n &0\\-B^TA^{-1} &I_m\end{pmatrix} \begin{pmatrix}A&B\\ B^T&0\end{pmatrix} \begin{pmatrix}I_n&-A^{-1}B\\0&I_m\end{pmatrix} =\begin{pmatrix}A&0\\0&-B^TA^{-1}B\end{pmatrix} = Y\ \textrm{ (say)}. $$ Así que, por Ley de inercia de Sylvester , $X$ y $Y$ tienen el mismo número de valores propios positivos, cero y negativos. Como $A$ es positiva definida y $-B^TA^{-1}B$ es negativa definida, hemos terminado esta comprobación.
Ahora demostraremos que el espectro negativo de $X$ se encuentra en el interior $P$ y el espectro positivo se encuentra dentro de $Q$ . Dicho de otro modo, los puntos finales de $P$ y $Q$ dan límites superiores e inferiores a los valores propios positivos y negativos de $X$ . Entre estos cuatro puntos finales, tres de ellos pueden obtenerse fácilmente y los abordaremos en primer lugar. El punto final derecho de $P$ es un poco problemático y lo trataremos más adelante. Supongamos que $\lambda$ (necesariamente distinto de cero) es un valor propio de $X$ y $(u^T,v^T)^T$ es un vector propio correspondiente. Entonces $$ \begin{cases} Au + Bv = \lambda u,\\ B^Tu = \lambda v. \end{cases} $$ Claramente $u\not=0$ o bien las ecuaciones anteriores darían $v=0$ , contradiciendo que $(u^T, v^T)^T$ es un vector propio. Entonces, WLOG, podemos suponer que $\|u\|=1$ . Sustituyendo $v = \frac{1}{\lambda}B^Tu$ en la primera ecuación de arriba, mutiplicar ambos lados por $\lambda u^T$ a la izquierda, obtenemos $\lambda^2 - \lambda u^TAu - u^TBB^Tu = 0$ . Así, $$ (\ast):\ \lambda = \frac12\left(u^TAu \pm \sqrt{(u^TAu)^2 + 4\|B^Tu\|^2}\right). $$ Así, para cada valor propio positivo, tenemos \begin{align} \lambda &= \frac12\left(u^TAu + \sqrt{(u^TAu)^2 + 4\|B^Tu\|^2}\right)\\ &\le \frac12\left(\max_{\|u\|=1}u^TAu + \sqrt{\max_{\|u\|=1}(u^TAu)^2 + 4\max_{\|u\|=1}\|B^Tu\|^2}\right)\\ &\le \frac12\left(a_1 + \sqrt{a_1 + 4b_1^2}\right). \end{align} También, $$ \lambda = \frac12\left(u^TAu + \sqrt{(u^TAu)^2 + 4\|B^Tu\|^2}\right) \ge u^TAu \ge \min_{\|u\|=1}u^TAu = a_n. $$ Esto demuestra que el espectro positivo de $X$ se encuentra en el interior $Q$ . A continuación, nos ocupamos del extremo izquierdo de $P$ o el extremo inferior del espectro negativo de $X$ . Para $a>0$ y $b\ge0$ , defina $f(a,b) = \frac12\left(a - \sqrt{a^2+4b^2}\right)$ . Por lo tanto, cada valor propio negativo de $X$ es de la forma $\lambda = f\left(u^TAu, \|B^Tu\|\right)$ . Desde $\frac{\partial f}{\partial a} = \frac12 - \frac {a}{2\sqrt{\ldots}} \ge 0$ y $\frac{\partial f}{\partial b} = \frac {-2b}{\sqrt{\ldots}} \le 0$ , $$ \lambda \ge \min_{\|u\|=1}f(u^TAu, \|B^Tu\|^2) \ge f(\min_{\|u\|=1}u^TAu,\ \max_{\|u\|=1}\|B^Tu\|^2) = f(a_n, b_1). $$ Esto da el punto final izquierdo de $P$ .
Queda por obtener el punto final correcto de $P$ . Esto no es tan fácil de abordar. A menos que $m=n$ si pones $\lambda\le\max f(u^TAu, \|B^Tu\|^2) \le f(\max u^TAu, \min\|B^Tu\|^2)$ , obtendrá $\lambda\le f(\max u^TAu, 0)=0$ que es completamente inútil (ya que los números negativos son siempre limitada por encima de 0). En otras palabras, al maximizar $(\ast)$ no podemos optimizar $u^TAu$ y $\|B^Tu\|^2$ por separado. Esto parece demasiado difícil, así que recurriré a otro enfoque.
En la teoría avanzada de matrices, tenemos un Principio mínimo-máximo de Courant-Fischer-Weyl que dice que si los valores propios de un orden $N$ Hermitiano matriz $X$ se ordenan en orden descendente, por ejemplo, $\lambda_1\ge\lambda_2\ge\ldots\ge\lambda_N$ entonces $$ \lambda_k = \min_{\dim(S)=N-k+1}\max_{\begin{matrix}w\in S\\ \|w\|=1\end{matrix}} w^\ast Xw. $$ Ahora, para cada vector unitario $w\in\mathbb{R}^{n+m}$ , escriba $w^T = (\theta u^T,\sqrt{1-\theta^2}v^T)$ , donde $\theta\in[0,1]$ y $u,v$ son vectores unitarios en, respectivamente $\mathbb{R}^n$ y $\mathbb{R}^m$ . Entonces $$w^TXw = \theta^2 u^TAu + 2\theta\sqrt{1-\theta^2}u^TBv.$$
Dado que los valores propios de $X$ son invariantes bajo la transformación ortogonal, WLOG podemos suponer que $B$ es ya una matriz diagonal (quizás no cuadrada) con sus valores singulares situados en la diagonal. Sea $\{u_1,\ldots,u_n\}$ sea la base canónica de $\mathbb{R}^n$ y $\{v_1,\ldots, v_m\}$ sea la base canónica de $\mathbb{R}^m$ . Entonces $B^Tu_i=b_iv_i$ para $i=1,2,\ldots, m$ . Ahora considere el $m$ -subespacio dimensional $W\subset\mathbb{R}^{n+m}$ abarcados por $\{(u_i^T, -v_i^T)^T: i=1,2,\ldots,m\}$ . Si $w^T = (\theta u^T,\sqrt{1-\theta^2}v^T)\in W$ entonces \begin{align} w^TXw &= \theta^2 u^TAu + 2\theta\sqrt{1-\theta^2}u^TBv\\ &\le \theta^2 u^TAu - 2\theta\sqrt{1-\theta^2}b_m\\ &\le \theta^2 a_1 - 2\theta\sqrt{1-\theta^2}b_m. \end{align} Aplicar el principio min-max con $N=n+m$ y $k=n+1$ obtenemos $$ \lambda_{n+1} = \min_{\dim(S)=m}\max_{\begin{matrix}w\in S\\ \|w\|=1\end{matrix}} w^T Xw \le \max_{\begin{matrix}w\in W\\ \|w\|=1\end{matrix}} w^T Xw \le \max_{0\le\theta\le 1}\left\{\theta^2 a_1 - 2\theta\sqrt{1-\theta^2}b_m\right\}. $$ El último paso es demostrar que $$ \max_{0\le\theta\le 1}\left\{\theta^2 a_1 - 2\theta\sqrt{1-\theta^2}b_m\right\} = \frac 12\left(a_1-\sqrt{a_1^2+4b_m^2}\right). $$ Esto se puede demostrar utilizando el método de completar el cuadrado y el cálculo/geometría de primer año y lo dejaré para ti.