Para que sea comprensible aunque poco elegante, haré el pasaje en dos pasos
Primero la traducción
$x^2 - xy + y^2 - 3y -1 = 0$
buscamos un nuevo centro $(h;\;k)$ por lo que sustituimos $x=x'+h;\;y=y'+k$
$-(h+x) (k+y)+(h+x)^2+(k+y)^2-3 (k+y)-1=0$
$x'^2-x' y'+y^2+x' (2 h-k)+y' (-h+2 k-3) +h^2-h k+k^2-3 k-1=0$
Para no tener términos de primer grado ponemos $2h-k=0;\;-h+2 k-3=0$ que da
$h=1;\;k=2$ y añadimos estos valores a la ecuación anterior
$x'^2 - x' y' + y'^2=4$
Ahora queremos deshacernos del $x'y'$ término. Para ello tenemos que girar el eje utilizando estas ecuaciones
$\begin{aligned}x'&=X\cos \theta -Y\sin \theta \\y'&=X\sin \theta +Y\cos \theta \end{aligned}$
$(X \sin \theta+Y \cos \theta)^2-(X \cos \theta-Y \sin \theta) (X \sin \theta+Y \cos \theta)+(X \cos \theta-Y \sin \theta)^2=4$
términos de recaudación
$X^2 \left(\sin ^2\theta+\cos ^2\theta-\sin \theta \cos \theta\right)+X Y \left(\sin ^2\theta-\cos ^2\theta\right)+Y^2 \left(\sin ^2\theta+\cos ^2\theta+\sin \theta \cos \theta\right)=4$
ya que queremos que el término $XY$ de la que se desprende $\sin ^2\theta-\cos ^2\theta=0$
$\tan^2\theta=1\to \theta=\pm \dfrac{\pi}{4}$
si queremos que el eje mayor de la elipse sea horizontal elegimos $\theta=\dfrac{\pi}{4}$ y sustituir este valor en la última ecuación
$\dfrac{X^2}{8}+\dfrac{3 Y^2}{8}=1$
las ecuaciones de la roto-traducción en conjunto son
$\begin{aligned}x&=X\cos \frac{\pi}{4}-Y\sin \frac{\pi}{4} +1\\y&=X\sin \frac{\pi}{4}+Y\cos \frac{\pi}{4} +2\end{aligned}$
o
$\begin{aligned}x&=\frac{\sqrt 2}{2}(X-Y) +1\\y&=\frac{\sqrt 2}{2}(X+Y) +2\end{aligned}$
Espero que esto ayude