Siempre es pedagógicamente muy bien para dar una solución para el inicio. Voy a probarlo, aunque sustituciones trigonométricas desde el comienzo puede salvar a escribir.
La sustitución de $t=\sqrt{(4-x)/x}$ está bien, pero tenemos que el uso inadecuado de las integrales. La solución sería la siguiente. Para $x=0+$ correspondiente (limitar) el valor de $t$$t=\sqrt{4/0_+}=+\infty$, y para $x=1$ obtenemos $t=\sqrt{(4-1)/1}=\color{red}{\sqrt 3}$. (Es la plaza de las tres, tal vez la única razón para escribir esta respuesta.)
$$
\begin{aligned}
J &=
\int_0^1 (1-x)\sqrt{4x-x^2} \; dx
\\
&=
\int_{\infty}^{\sqrt 3}
-32\frac{(t^2-3)t^2}{(1+t^2)^4}\;dt
\\
&=
+32\int_{\sqrt 3}^{\infty}
\frac{(t^2+2t^2+1)-5(t^2+1)+4}{(1+t^2)^4}\;dt
\\
&=
+32\int_{\sqrt 3}^{\infty}
\left[\
\frac1{(1+t^2)^2}
-5\frac1{(1+t^2)^3}
+4\frac1{(1+t^2)^4}
\ \right]\;dt
\\
&=32(K_2-5K_3+4K_4)\ ,
\end{aligned}
$$
donde $K_n$ es la integral en el mismo intervalo de $(1+t^2)^{-n}$. Tenemos la recursividad
$$
\begin{aligned}
K_n
&=\int_{\sqrt 3}^{\infty}t'\frac1{(1+t^2)^n}\;dt
\\
&=\frac t{(1+t^2)^n}\Bigg|_{\sqrt 3}^{\infty}
-
\int_{\sqrt 3}^{\infty}
t\cdot \frac{-2nt}{(1+t^2)^{n+1}}\;dt
\\
&=-\frac{\sqrt3}{4^n}
+
2n\int_{\sqrt 3}^{\infty}\frac{(t^2+1)-1}{(1+t^2)^{n+1}}\;dt
\\
&=-\frac{\sqrt3}{4^n}
+
2n(K_n-K_{n+1})\ ,\text{ i.e.}
\\
K_{n+1}
&=
\frac 1{2n}\left[\ (2n-1)K_n-\frac{\sqrt3}{4^n}\ \right]\ .
\\[2mm]
&\qquad\text{This gives:}
\\
K_1 &=\arctan \infty-\arctan\sqrt 3 =\left(\frac 12-\frac 13\right)\pi
=\frac 16\pi\ ,
\\
K_2 &=\frac 12\left[K_1-\frac{\sqrt 3}4\right]=\frac 1{12}\pi - \frac{\sqrt 3}8\ ,
\\
K_3 &=\frac 14\left[3K_2-\frac{\sqrt 3}{16}\right]
=\frac 1{16}\pi - \frac{7\sqrt 3}{64}\ ,
\\
K_4 &=\frac 16\left[5K_3-\frac{\sqrt 3}{64}\right]
=\frac 5{96}\pi - \frac{3\sqrt 3}{32}\ ,
%\\
%K_5 &=\frac 18\left[7K_4-\frac{\sqrt 3}{216}\right]
%=\frac {35}{768}\pi - \frac{169\sqrt 3}{2048}\ ,
\\
&\qquad\text{ so putting all together}
\\
J&=32(K_2-5K_3+4K_4)
\\
&=-\frac23\pi+\frac {3\sqrt 3}2\ .
\end{aligned}
$$
Como se dijo, no es la manera rápida, pero todos los detalles se muestran. Equipo de verificación:
sage: var('x,t');
sage: integral( (1-x)*sqrt(4*x-x^2), x, 0, 1 ).simplify()
-2/3*pi + 3/2*sqrt(3)
sage: integral( 32*(t^2-3)*t^2/(1+t^2)^4, t, sqrt(3), oo ).simplify()
-2/3*pi + 3/2*sqrt(3)