La configuración es irregular.
De hecho, nos estamos encontrando en la zona delimitada por debajo de la curva de $y = \sqrt{2x - x^2}\,$ y por encima de la curva de $y = x^2,\;$$x = 0$$x = 1$:
De hecho, tenemos que integrar:
$$\begin{align} I & = \int_0^1 \left(\sqrt{2x - x^2} - x^2\right)\,dx \\ \\
& = \int_0^1 \sqrt{1 - 1 + 2x - x^2} \,dx - \int_0^1 x^2\,dx\\ \\
& = \int_0^1 \sqrt{1 - (x - 1)^2} \,dx - \int_0^1 x^2\,dx
\end{align}$$
Ahora, para la primera integral, usamos la sustitución trigonométrica $(x - 1) = \sin\theta$, por lo que el $dx = \cos\theta\,d\theta$.
Encontrar los nuevos límites de integración para la primera integral (por lo que podemos salvarnos a nosotros mismos la tarea de "sustitución hacia atrás" al final):
En$x = 0, \sin\theta = -1 \implies \theta = -\pi/2.\;$$x = 1, \sin\theta = 0 \implies \theta = 0$.
Esto le da a usted, después de la sustitución de la primera integral:
$$I = \int_{-\pi/2}^{0} \sqrt{1 - \sin^2 \theta}\cos\theta\,d\theta - \int_0^1 x^2\,dx $$
Vamos a utilizar las identidades $$\begin{align}\;1 - \sin^2\theta & = \cos^2 \theta\tag{1} \\ \cos^2 \theta & = \dfrac {1 + \cos (2\theta)}{2}\tag{2}\end{align}$$
$$I =\int_{-\pi/2}^0 \left(\sqrt{\cos^2\theta}\right)\cos\theta\,d\theta = \int_{-\pi/2}^0 \cos^2\theta\,d\theta - \int_0^1 x^2\,dx \tag{1}$$
$$I = \dfrac 12\int_{-\pi/2}^0 \left(1 + \cos(2\theta)\right) \,d\theta - \int_0^1 x^2 \,dx\tag{2}$$
La integración debe ahora ser relativamente sencillo:
$$I = \left[\dfrac \theta2 + \dfrac 14\sin(2\theta)\right]\Big|_{-\pi/2}^0 \;- \;\dfrac{x^3}3\Big|_0^1\quad = \quad \frac\pi4-\dfrac 13$$