Suponiendo que $p, q \in \Bbb R$ sean constantes, el sistema
$\dfrac{d \vec x(t)}{dt} = \begin{bmatrix} p & -q \\ q & p \end{bmatrix} \vec x(t) \tag 1$
tiene una solución explícita bien conocida. Supongamos que establecemos
$A = \begin{bmatrix} p & -q \\ q & p \end{bmatrix}, \tag 2$
y permitamos que
$\vec x_0 = \vec x(t_0) \tag 3$
sea una inicialización de $\vec x(t)$; entonces tenemos
$\vec x(t) = e^{A(t - t_0)} \vec x_0 = \exp(A(t - t_0)) \vec x_0; \tag 4$
la ecuación (4) se valida fácilmente por diferenciación directa; de hecho,
$\dot{\vec x}(t) = \dfrac{d \exp(A(t - t_0))}{dt} \vec x_0 = A \exp(A(t - t_0)) \vec x_0 = A \vec x(t); \tag 5$
también vemos a partir de (4) que
$\vec x(t_0) = \exp(A(t_0 - t_0)) \vec x_0 = \exp(A(0)) \vec x_0 = \exp(0) \vec x_0 = I \vec x_0 = \vec x_0; \tag 6$
así que (4) es consistente con nuestra elección de condición inicial. Calculamos la matriz $\exp(A(t - t_0))$ de la siguiente manera:
definimos
$J = \begin{bmatrix} 0 & -1 \\ 1 & 0 \end{bmatrix}; \tag 7$
entonces tenemos
$A = \begin{bmatrix} p & -q \\ q & p \end{bmatrix} = pI + qJ; \tag 8$
se sigue que
$\exp(A(t - t_0)) = \exp((pI + qJ)(t - t_0)) = \exp(p(t - t_0)I + q(t - t_0)J); \tag 9$
ahora, como $I$ y $J$ conmutan,
$IJ = JI, \tag{10}$
así que lo hacen $p(t - t_0)I$ y $q(t - t_0)J$
$(p(t - t_0)I)(q(t - t_0)J) = (q(t - t_0)J)(p(t - t_0)I); \tag{11}$
esto nos permite concluir que, al igual que si $I$ y $J$ fueran números reales o complejos ordinarios,
$\exp((p(t - t_0)I + q(t - t_0)J) = \exp(p(t - t_0)I) \exp(q(t - t_0)J); \tag{12}$
de hecho, una demostración de (12) dada (11) es virtualmente idéntica a la prueba de que
$\exp(a + b) = \exp(a) \exp (b), \; a, b \in \Bbb C; \tag{13}$
para más información, ver esta página de wikipedia.
Hasta ahora tenemos
$\exp(A(t - t_0)) = \exp(p(t - t_0)I + q(t - t_0)J) = \exp(p(t - t_0)I) \exp(q(t - t_0)J); \tag{14}$
el siguiente paso es la evaluación de $\exp(p(t - t_0)I)$ y $\exp(q(t - t_0)J$; el primero de estos dos es fácil, usando la serie de potencias:
$\exp(p(t - t_0)I) = \displaystyle \sum_0^\infty \dfrac{(p(t - t_0)I)^n}{n!} = \sum_0^\infty \dfrac{(p(t - t_0))^n}{n!}I^n$ $= \left (\displaystyle \sum_0^\infty \dfrac{(p(t - t_0))}{n!} \right ) I = \exp(p(t - t_0))I; \tag {15}$
para encontrar $\exp(q(t - t_0)J$ notamos que
$J^2 = -I; \; J^3 = -J; \; J^4 = -J^2 = I; \; J^5 = J^4J = J; \; J^6 = J^4J^2 = -I, \tag{16}$
y así sucesivamente, al igual que $i = \sqrt{-1}$ satisface
$i^2 = -1; \; i^3 = -i; \; i^4 = 1; \; i^5 = i; \; i^6 = -1, \tag{17}$
etc.; es fácil ver que $i$ y $J$ siguen esencialmente el mismo patrón, por lo que se deduce que la serie de potencias para $\exp(q(t - t_0)J$ será, al igual que
$e^{iq(t - t_0))} = \cos q(t - t_0) + i \sin q(t - t_0), \tag{18}$
resultar en
$\exp(q(t - t_0)J) = \cos q(t - t_0) I + \sin q(t - t_0) J$ $= \begin{bmatrix} \cos q(t - t_0) & -\sin q(t - t_0) \\ \sin q(t - t_0) & \cos q(t - t_0) \end{bmatrix} = R(t); \tag{19}$
vemos que la matriz anterior, que hemos elegido llamar $R(t)$, es de hecho una matriz de rotación ordinaria de $2$ dimensiones, y como tal es ortogonal; es fácil ver que
$R(t)R^T(t) = R^T(t)R(t) = I, \; \forall t \in \Bbb R. \tag{20}$
Si ahora combinamos (4), (14), (15) y (19) podemos escribir
$\vec x(t) = \exp(p(t - t_0)) R(t) \vec x_0 \tag{21}$
como la solución a (1) con $x(t_0) = x_0$; esta ecuación nos permite abordar las preguntas de estabilidad sobre (1) directamente en términos de $p$: en primer lugar, supongamos que
$p = 0; \tag{22}$
entonces (21) se convierte en
$\vec x(t) = R(t) \vec x_0, \tag{23}$
lo cual tiene varias consecuencias relevantes: en primer lugar, implica
$\Vert x(t) \Vert = \Vert x_0 \Vert, \tag{24}$
dado que $R(t)$ es ortogonal; por lo tanto, las soluciones pueden verse como círculos que rodean al origen; como tal, las trayectorias del sistema mantienen una distancia fija desde $(0, 0)$ y por lo tanto el sistema es estable; además, (1) manifiesta otra forma de estabilidad en el caso que $p = 0$: supongamos que tenemos dos soluciones $\vec x(t)$ y $\vec y(t)$ de (1), con
$\vec x(t_0) = \vec x_0, \; \vec y(t_0) = \vec y_0; \tag{25}$
entonces
$\dfrac{d}{dt}(\vec x(t) - \vec y(t)) = \dot{\vec x}(t) - \dot{\vec y}(t) = A \vec x(t) - A \vec y(t) = A(\vec x(t) - \vec y(t)); \tag{26}$
también,
$\vec x(t_0) - \vec y(t_0) = \vec x_0 - \vec y_0; \tag{27}$
basándonos en (25)-(27) vemos que $\vec x(t) - \vec y(t)$ es una solución inicializada en $\vec x_0 - \vec y_0$; por lo tanto, de acuerdo con (23), (24) podemos escribir
$(\vec x(t) - \vec y(t)) = R(t) (x_0 - y_0), \tag{28}$
$\Vert (\vec x(t) - \vec y(t) \Vert = \Vert x_0 - y_0 \Vert, \tag{29}$
lo que muestra que el sistema (1) con $p = 0$ disfruta de una propiedad de estabilidad aún más completa: no solo el origen es un equilibrio estable, sino que cualquier par de puntos del sistema permanece a la misma distancia el uno del otro en todo momento; de hecho, es casi como si el flujo de (1) fuera en realidad un movimiento rígido del plano; en cualquier caso, es claro a partir de (29) que cualquier par de soluciones permanece tan cerca como comenzaron para siempre, una mejora sobre la simple estabilidad del origen.
Ahora pasamos al caso $p < 0$; entonces vemos a partir de (21) que
$\Vert \vec x(t) \Vert = \exp(p(t - t_0)) \Vert \vec x_0 \Vert \to 0 \; \text{conforme} \; t \to \infty \tag{30}$
para cada solución $\vec x(t)$; por lo tanto, el origen es asintóticamente estable globalmente; además, es fácil ver que (25)-(27) en este caso implican, vía (21), que
$\Vert \vec x(t) - \vec y(t) \Vert = \exp(p(t - t_0)) \Vert \vec x_0 - \vec y_0 \Vert \to 0 \; \text{conforme} \; t \to \infty, \tag{31}$
es decir, todas las trayectorias convergen entre sí con el paso del tiempo. En este caso, el origen es un punto de espiral estable si $q \ne 0$, y un nodo estable cuando $q$ se anula.
Cuando $p > 0$ el origen es por supuesto inestable y todas las trayectorias se alejan unas de otras; el lector fácilmente puede trabajar en los detalles siguiendo líneas análogas a las anteriores.
Finalmente, hemos presentado la discusión anterior en términos de $p$ a pesar de que el enunciado del problema hablaba en términos de los valores propios de la matriz $A$; pero el polinomio característico de la matriz $A$ es
$\det(A - \lambda I) = \lambda^2 - 2p \lambda + (p^2 + q^2); \tag{32}$
que las raíces de (32) son $p \pm iq$ es un cálculo sencillo, por lo que al tratar con $p$ en realidad estamos abordando la parte real de los valores propios de $A$, según lo solicitado.