OK, puede comenzar por señalar que
$$\sqrt{3} \cos{x} - \sin{x} = 2 \sin{\left ( \frac{\pi}{3}-x\right)}$$
lo que significa que la integral es
$$ \sqrt{2} \int_0^{\pi/3} dx \, \cos{x} \sqrt{\sin{x} \sin{\left ( \frac{\pi}{3}-x\right)}} = \sqrt{2} I$$
Usted puede hacer una sustitución de $x \mapsto \frac{\pi}{3}-x$ y ver que
$$I = \sqrt{3} \int_0^{\pi/3} dx \, \sin{x} \sqrt{\sin{x} \sin{\left ( \frac{\pi}{3}-x\right)}}$$
EDITAR
Integrar por partes:
$$\begin{align}I &= \left [\sin{x} \sqrt{\sin{x} \sin{\left ( \frac{\pi}{3}-x\right)}} \right ]_0^{\pi/3} - \int_0^{\pi/3} dx \, \sin{x} \frac{d}{dx} \sqrt{\sin{x} \sin{\left ( \frac{\pi}{3}-x\right)}}\\ &= -\frac12 \int_0^{\pi/3} dx \, \sin{x} \frac{\cos{x} \sin{\left ( \frac{\pi}{3}-x\right)} - \sin{x} \cos{\left ( \frac{\pi}{3}-x\right)}}{\sqrt{\sin{x} \sin{\left ( \frac{\pi}{3}-x\right)}}}\\ &= -\frac12 I + \frac12 \int_0^{\pi/3} dx \, \sin{x} \sqrt{\frac{\sin{x}}{\sin{\left ( \frac{\pi}{3}-x\right)}} } \cos{\left ( \frac{\pi}{3}-x\right)} \end{align}$$
Esto significa que
$$\begin{align}3 I &= \int_0^{\pi/3} dx \, \frac{\cos{x}}{\sin{x}} \sqrt{\sin{x} \sin{\left ( \frac{\pi}{3}-x\right)}} \cos{\left ( \frac{\pi}{3}-x\right)}\\ &= \frac{\sqrt{3}}{2} \int_0^{\pi/3} dx \, \frac{\cos^2{x}}{\sin{x}} \sqrt{\sin{x} \sin{\left ( \frac{\pi}{3}-x\right)}} - \frac12 I \end{align}$$
La combinación de nuevo...
$$7 I = \sqrt{3} \int_0^{\pi/3} dx \sqrt{\frac{\sin{\left ( \frac{\pi}{3}-x\right)}}{\sin{x}}} - \underbrace{\sqrt{3} \int_0^{\pi/3} dx \, \sin{x} \sqrt{\sin{x} \sin{\left ( \frac{\pi}{3}-x\right)}}}_{\text{We know from above this equals } I}$$
Así
FINAL DE EDICIÓN
$$I = \frac{\sqrt{3}}{8} \int_0^{\pi/3} dx \sqrt{\frac{\sin{x}}{\sin{\left ( \frac{\pi}{3}-x\right)}}}$$
Ahora, en una manipulación similar como en la evaluación de esta integral, sub $u = \sin{x}/\sin{(\pi/3-x)}$ y encontrar que la integral se convierte en
$$I = \frac{3}{16} \int_0^{\infty} du \frac{\sqrt{u}}{1+u+u^2}$$
Esta integral es muy sencilla de evaluar a través de residuos mediante, por ejemplo, un ojo de la cerradura de contorno sobre el eje real positivo. Por el teorema de los residuos, el original de la integral es entonces
$$\sqrt{2} I = \frac{3 \sqrt{2}}{16} \frac12 i 2 \pi \left (\frac{e^{i \pi/3}}{i \sqrt{3}} - \frac{e^{i 2 \pi/3}}{i \sqrt{3}} \right ) = \frac{\pi}{8} \sqrt{\frac{3}{2}}$$