Sugerencia: $$\cos^2\theta=\frac{1}{2}(1+\cos(2\theta))$$
Edit: Además, después de algunos cálculos, estoy bastante seguro de que has cometido un error (¿alguien puede una doble comprobación de esto?)
Tienes $\displaystyle\frac{4}{3}\int\cos^2\theta d\theta$, pero la sustitución de $9x^2=16\sin^2\theta$ nos da lo siguiente:
$$\sqrt{16-9x^2}=\sqrt{16-16\sin^2\theta}=\sqrt{16(1-\sin^2\theta)}=\sqrt{16\cos^2\theta}=4\cos\theta$$
y desde $x=\frac{4}{3}\sin\theta$, tenemos $dx=\frac{4}{3}\cos\theta d\theta$, por lo que
$$\displaystyle\int\sqrt{16-9x^2}dx=\int4\cos\theta\cdot\left(\frac{4}{3}\cos\theta d\theta\right)=\frac{16}{3}\int\cos^2\theta d\theta$$
y aquí está la manera de hacer el resto
$\displaystyle\frac{16}{3}\int\cos^2\theta d\theta=\frac{16}{3}\int\left(\frac{1}{2}\left(1+\cos 2\theta)\right)\right)=\frac{8}{3}\int\left(1+\cos 2\theta\right)=\frac{8}{3}\left(\theta +\frac{1}{2}\sin2\theta+C\right)$.
Desde $\sin\theta =\frac{3x}{4}$, $\theta=\sin^{-1}\left(\frac{3x}{4}\right)$ $\sin2\theta = \sqrt{16-9x^2}$ $\displaystyle\int\sqrt{16-9x^2}dx$ evalúa a $\displaystyle\frac{8}{3}\sin^{-1}\left(\frac{3x}{4}\right)+\frac{1}{2}x\sqrt{16-9x^2}+C$
Edit: (dirección de OP preguntas, ya que este es el comentario no se muestra ahora correctamente en la sección de comentarios). Después de multiplicar $\frac{8}{3}$$\frac{1}{2}\sin\theta$,$\displaystyle\frac{4}{3}\sin2\theta=\frac{4}{3}(2\sin\theta\cos\theta)=\frac{8}{3}\sin\theta\cos\theta=\frac{8}{3}\cdot\left(\frac{3x}{4}\right)\cdot\left(\frac{\sqrt{16-9x^2}}{4}\right)$, luego cancelar en que la recibe.