Una pista:
Poner $x = \frac{3}{2}\tan\theta \Rightarrow dx = \frac{3}{2} \sec^2 \theta \ d\theta$ tenemos \begin{align} \int\frac{x^3}{\left(\sqrt{4x^2+9}\right)^3}\,dx&=\frac{3}{16}\int\frac{\tan^3\theta}{\sec^3\theta}\cdot\sec^2\theta\,\,d\theta\\ &=\frac{3}{16}\int\frac{\sin^3\theta}{\cos^3\theta}\cdot\cos\theta\,\,d\theta\quad\Rightarrow\quad\tan\theta=\frac{\sin\theta}{\cos\theta}\,\,\mbox{and}\,\,\sec\theta=\frac{1}{\cos\theta}\\ &=\frac{3}{16}\int\frac{\sin^2\theta}{\cos^2\theta}\cdot\sin\theta\,\,d\theta\\ &=\frac{3}{16}\int\frac{1-\cos^2\theta}{\cos^2\theta}\cdot\sin\theta\,\,d\theta\quad\Rightarrow\quad\mbox{set}\,\,t=\cos\theta \Rightarrow dt=-\sin\theta\,\,d\theta\\ &=\frac{3}{16}\int\frac{t^2-1}{t^2}\,dt \end{align} ¿Puedes llevarlo desde aquí?