Este es principalmente un resumen de las observaciones hechas en los comentarios, y un poco más de análisis, porque creo que es un buen problema a analizar.
En primer lugar, tanto la forma funcional del sistema y de la reflexión de simetría (véase también el plano fase) sugieren que es una buena idea introducir $x = \alpha+\beta$, $y = \alpha-\beta$, para obtener
\begin{align}
\dot{x} &= \frac{1}{2}(y^2 - 3 x^2), \tag{1a}\\
\dot{y} &= 3 x y.\tag{1b}
\end{align}
Podemos simplificar el sistema de (1) un poco por reescalado $y \to \sqrt{3} y$$t \to \frac{1}{3} t$, lo que da
\begin{align}
\dot{x} &= \frac{1}{2}(y^2 - x^2), \tag{2a}\\
\dot{y} &= x y.\tag{2b}
\end{align}
El plano fase del sistema (2) se parece a esto:
Lo que es obvio, es que este plano fase es altamente simétricas. Parece ser invariantes bajo de rotación sobre un ángulo de $\frac{2 \pi}{3}$ (= 120 grados), y la rotación sobre un ángulo de $\frac{2 \pi}{6}$ parece mantener la forma de las órbitas de todos los idiomas, pero cambia su dirección de flujo. Se puede comprobar que ambas de estas observaciones son de hecho la correcta, teniendo en cuenta
\begin{equation}
\begin{pmatrix} \xi_1 \\ \eta_1 \end{pmatrix} := R(\frac{2\pi}{3}) \begin{pmatrix} x \\ y \end{pmatrix}\quad \text{y} \quad \begin{pmatrix} \xi_2 \\ \eta_2 \end{pmatrix} := R(\frac{2\pi}{6}) \begin{pmatrix} x \\ y \end{pmatrix},
\end{equation}
con
\begin{equation}
R(\theta) = \begin{pmatrix} \cos \theta & \sin \theta \\ -\sin \theta & \cos \theta \end{pmatrix}
\end{equation}
es la matriz que gira un vector sobre el origen de más de ángulo de $\theta$. Sustituyendo $\xi{1,2}$ $\eta_{1,2}$ en el sistema (2), se puede obtener
\begin{align}
\dot{\xi_1} &= \frac{1}{2}(\eta_1^2 - \xi_1^2), \\
\dot{\eta_1} &= \xi_1 \eta_1,
\end{align}
y
\begin{align}
\dot{\xi_2} &= -\frac{1}{2}(\eta_2^2 - \xi_2^2), \\
\dot{\eta_2} &= -\xi_2 \eta_2,
\end{align}
lo que implica las anteriores observaciones.
Parece una buena idea 'factor' esta simetría rotacional presentes en el sistema (2). La introducción de coordenadas polares $x = r \cos \theta$, $y = r \sin \theta$, obtenemos el sistema dinámico
\begin{align}
\dot{r} &= -\frac{1}{2} r^2 \cos(3\theta),\tag{3a}\\
\dot{\theta} &= \frac{1}{2} r \sin(3\theta),\tag{3b}
\end{align}
que de hecho es invariante bajo $\theta \to \theta + \frac{2 \pi}{3}$. Ahora, podemos reescribir la anterior en términos de la nueva ángulo de $\phi := 3 \theta$ obtener
\begin{align}
\dot{r} &= -\frac{1}{2} r^2 \cos(\phi), \tag{4a}\\
\dot{\phi} &= \frac{3}{2} r \sin(\phi). \tag{4b}
\end{align}
Ahora, lo bueno es que podemos reinterpretar el sistema (4) como la `representación polar' de algún sistema Cartesiano. Es decir, si introducimos $X$$Y$$X := r \cos \phi$$Y := r \sin \phi$, podemos reescribir el sistema (4) en términos de $X$ $Y$ obtener
\begin{align}
\dot{X} &= -\frac{1}{2}(X^2 + 3 Y^2), \tag{5a}\\
\dot{Y} &= X Y. \tag{5b}
\end{align}
El plano fase del sistema (5) se ve como era de esperar:
Además, el sistema (5) resulta ser Hamiltoniano, es decir, de la forma
\begin{align}
\dot{X} &= \frac{\partial H}{\partial Y},\\
\dot{Y} &= -\frac{\partial H}{\partial X},
\end{align}
con
\begin{equation}
H(X,Y) = -\frac{1}{2} Y(X^2 + Y^2).
\end{equation}
Por lo tanto, las órbitas se hallan en el nivel de los conjuntos de $H$, es decir, las curvas de donde $H = E$ (= constante), que puede ser utilizado para expresar $X$ en términos de $Y$
\begin{equation}
X = \pm \sqrt{-\frac{2 E + Y^3}{Y}}.
\end{equation}
Como observación final, la inestabilidad del origen puede ser derivado de sistema (5) como sigue. Considerar la línea horizontal $\ell = \left\{ (X,Y) \vert Y=0 \right\}$, es decir, el $X$-eje. Sustituyendo $Y=0$ en el sistema (5), obtenemos $\dot{Y} = 0$; por lo tanto, la línea de $\ell$ es invariante bajo el flujo. En otras palabras, cada punto de $\ell$ se queda en $\ell$ de todos los tiempos.
Lo que ocurre es que el origen $(0,0)$ se encuentra en la línea de $\ell$. Tomando un punto de $(-\epsilon,0) \in \ell$ arbitrariamente cerca (y directamente a la izquierda de) el origen, vemos que este punto el flujo de distancia desde el origen, debido a que el flujo en $\ell$ está dado por $\dot{X} = -\frac{1}{2} X^2$. Esto es válido para todas las $\epsilon > 0$; por lo tanto, hemos encontrado un inestable de la dirección del flujo en el origen, se extendió por $(-1,0)$. Por lo tanto, el origen es un (no lineal) inestable punto fijo del sistema (5), y en la extensión de sistema (1).