Tienes una errata en tu expresión, a tu expresión le falta un factor global $\frac13$ .
Puedes comprobarlo comparando la integral y la expresión que tienes en $a \to 0$ y $b = 1$ .
En ese límite, $I \to \frac13$ mientras su expresión $$b ((a^2 + b^2) E(k) - 2a^2 K(k))\quad\to\quad 1((0^2+1^2)\times 1 - 2\times 0 ) = 1$$
Dejemos que $c^2 = b^2 - a^2$ y $\displaystyle\;k = \frac{c}{b}$ . Cambiar la variable a
$$u = \frac1c \sqrt{b^2 - \lambda^2} \quad\iff\quad \lambda = \sqrt{b^2 - c^2u^2} = b\sqrt{1-k^2u^2}$$
Aviso $$\lambda^2 - a^2 = (b^2 - a^2) - (b^2 - \lambda^2) = c^2(1-u^2) \quad\text{ and }\quad d\lambda = -\frac{bk^2u du}{\sqrt{1-k^2u^2}}$$ La integral en cuestión es igual a
$$I = \int_1^0 c^2u\sqrt{1-u^2}\left(-\frac{bk^2u du}{\sqrt{1-k^2u^2}}\right) = b^3k^4\int_0^1 \frac{u^2(1-u^2)}{\sqrt{(1-u^2)(1-k^2u^2)}}du $$ Para evaluar esta integral, se puede utilizar el hecho (¿truco?)
$$\frac{d}{du}\left[u\sqrt{(1-u^2)(1-k^2u^2)}\right] = \frac{1 - 2u^2 + k^2u^2 - 3k^2u^2(1-u^2)}{\sqrt{(1-u^2)(1-k^2u^2)}}$$ y $u\sqrt{(1-u^2)(1-k^2u^2)}$ se desvanece en $u = 0$ y $1$ . Con esto, se puede transformar la integral en
$$I = \frac{b^3k^2}{3}\int_0^1\frac{1 - 2u^2 + k^2u^2}{\sqrt{(1-u^2)(1-k^2u^2)}} du$$
Aviso $$1 - 2u^2 + k^2u^2 = 1 + (k^2-2)\frac{1 - (1-k^2u^2)}{k^2} = \frac{1}{k^2}\left((2-k^2)(1-k^2u^2) - (2-2k^2)\right)$$ Podemos simplificar la integral a
$$\begin{align} I = &\frac{b^3}{3}\left[(2-k^2)\int_0^1\sqrt{\frac{1-k^2u^2}{1-u^2}}du - (2-2k^2)\int_0^1\frac{1}{\sqrt{(1-u^2)(1-k^2u^2)}}du\right]\\ = & \frac{b^3}{3}\left[(2-k^2)E(k) - (2-2k^2)K(k)\right]\\ = & \frac{b}{3}\left[(b^2+a^2)E(k) - 2a^2K(k)\right] \end{align} $$ Hasta un factor $\frac13$ Esta es la expresión que tienes.
