Déjame escribir tu integral como $$ \int \frac{x}{\sqrt{x^2-\sqrt{2}ax+a^2}}dx$$ Luego primero considera el cambio de variable $u={x^2-\sqrt{2}ax+a^2} $, entonces $du=(2x-\sqrt{2}a )dx$, así la integral se convierte en: $$ \int \frac{x}{\sqrt{x^2-\sqrt{2}ax+a^2}}dx = \frac{1}{2} \int \frac{2x-\sqrt{2}a+\sqrt{2}a}{\sqrt{x^2-\sqrt{2}ax+a^2}}dx=$$ $$\frac{1}{2} \int \frac{2x-\sqrt{2}a}{\sqrt{x^2-\sqrt{2}ax+a^2}}dx + \frac{1}{2} \int \frac{\sqrt{2}a}{\sqrt{x^2-\sqrt{2}ax+a^2}}dx = $$ $$ \frac{1}{2} \int \frac{du}{\sqrt{u}} + \frac{a}{\sqrt{2}} \int \frac{1}{\sqrt{x^2-\sqrt{2}ax+a^2}}dx $$ La primera integral es simplemente $\sqrt{u}$, de nuevo al variable inicial, la primera integral es $\sqrt{x^2-\sqrt{2}ax+a^2}$.
Ahora, considera la segunda integral, y utiliza completar el cuadrado en el denominador $$\int \frac{1}{\sqrt{x^2-\sqrt{2}ax+a^2}} = \int \frac{dx}{\sqrt{x^2-\sqrt{2}ax+ \frac{a^2}{2}+\frac{a^2}{2}}}= \int \frac{dx}{\sqrt{(x-\frac{a}{\sqrt{2}})^2+ \frac{a^2}{2}}}= \int \frac{dx}{\frac{a}{\sqrt{2}}\sqrt{\frac{2}{a^2}(x-\frac{a}{\sqrt{2}})^2+ 1}} =\frac{\sqrt{2}}{a}\int \frac{dx}{\sqrt{(\frac{\sqrt{2}}{a}x-1)^2+ 1}} $$ sea $v= \frac{\sqrt{2}}{a}x-1$, luego $dv=\frac{\sqrt{2}}{a} dx $, y así esta última integral puede escribirse como $$ \int \frac{dv}{\sqrt{v^2+1}}= arsinh(v) $$ entonces tu integral final es
$$ \int \frac{x}{\sqrt{x^2-\sqrt{2}ax+a^2}}dx=\sqrt{x^2-\sqrt{2}ax+a^2} +\frac{a}{\sqrt{2}} arcsinh\Big(\frac{\sqrt{2}}{a}x-1 \Big) +C$$