Demasiado largo para un comentario.
Los dominios de mis matemáticas competencia están lejos de ecuaciones diferenciales, por lo que puede perder algunas sutilezas. Supongo que $a$ $b$ son constantes. Dada una función derivable $u=u(t)$ $u'$ I deberá indicar su derivada con respecto a $t$.
La diferenciación de la primera ecuación obtenemos
$x''=-a\sin y\cdot y'.$
Entonces
$xx''=-a\sin y\cdot xy'=a^2\sin^2 y=a^2-(x'+b)^2=a^2-(x')^2-2bx'-b^2$
$(xx')'=xx''+(x')^2=a^2 -b^2-2bx'$
Integrando con respecto a $t$ obtenemos
$xx'=(a^2 -b^2)t-2bx+C$,
Esta ecuación se ve más simple que el sistema inicial y tal vez ya puede ser resuelto por métodos estándar.
También podemos encontrar $C$ como sigue. La aplicación de las condiciones iniciales obtenemos
$x(0)x'(0)=(a^2 -b^2)\cdot 0 -2bx(0)+C$,
pero $x(0)=x_o$$x'(0)=a\cos y(0)-b= a\cos\frac\pi2-b=-b$, lo $-bx_o=-2bx_o+C$,
y $C=bx_o$.
La actualización. De acuerdo a player100 comentario, tenemos que calcular el $\int\frac {x}{x^2-x-A}dx$. Pero $$x^2-x-A= x^2-x+\frac{b^2-a^2}{4b^2}.$$ The discriminant of this polynomial is $$1-4\frac{b^2-a^2}{4b^2}=\frac{a^2}{b^2}.$$ Así
$$x^2-x-A=\left(x-\frac{b+a}{2b}\right)\left(x-\frac{b-a}{2b}\right).$$
Si $a=0$
$$\frac x{x^2-x-A}=\frac{x}{(x-\frac 12)^2}=\frac{1}{x-\frac 12}+\frac{1}{2(x-\frac 12)^2}. $$
Así
$$\int\frac {x}{x^2-x-A}dx=\int \frac{dx}{x-\frac 12}dx+\int\frac{dx}{2(x-\frac 12)^2}dx=\ln\left(x-\frac 12\right)-\frac 1{2x-1}+C'$$
(siempre $x>\frac 12$).
Entonces
$$e^{-\int\frac {x}{x^2-x-A}dx}=C''\frac 1{x-\frac 12}e^{\frac 1{2x-1}}.$$
Si $a\ne 0$
$$\frac x{x^2-x-A}=\frac{ab+b^2}{2abx-a^2-ab}+
\frac{ab-b^2}{2abx+a^2-ab}.$$
Así
$$\int\frac {x}{x^2-x-A}dx=$$ $$\int \frac{ab+b^2}{2abx-a^2-ab}dx+
\int\frac{ab-b^2}{2abx+a^2-ab}dx=$$ $$\frac{ab+b^2}{2ab}\ln(2abx-a^2-ab)+\frac{ab-b^2}{2ab}\ln(2abx+a^2-ab)+C'.$$
(siempre que el denominador son positivos)
Entonces
$$e^{-\int\frac {x}{x^2-x-A}dx}=
C"\left(2abx-a^2-ab\right)^{-\frac{ab+b^2}{2ab}}\left(2abx+a^2-ab\right)^{-\frac{ab-b^2}{2ab}}.$$