Para $0<a<1\land0<b$ , $$\small{\mathcal{I}{\left(a,b\right)}=-\pi\arcsin{\left(\sqrt{\frac{a}{a+b}}\right)}+\frac{\pi a}{\sqrt{a+b}}F_{3}{\left(\frac12,\frac12;\frac12,\frac12;2;a,\frac{a}{a+b}\right)}.}$$
Prueba:
La función seno inversa puede definirse en el círculo unitario complejo mediante la representación integral
$$\arcsin{\left(z\right)}:=\int_{0}^{z}\frac{\mathrm{d}t}{\sqrt{1-t^{2}}};~~~\small{z\in\mathbb{C}\land\left|z\right|\le1}.$$
Utilizando la representación integral de $\arcsin{\left(z\right)}$ anterior, podemos expresar $\mathcal{I}{\left(a,b\right)}$ equivalentemente como una integral doble con un integrando algebraico. Me he dado cuenta de que la integral doble resultante tiene una expresión natural an Función hipergeométrica de apelación del tercer tipo:
$$F_{3}{\left(\alpha,\alpha^{\prime};\beta,\beta^{\prime};\gamma;z,w\right)}=\sum_{n=0}^{\infty}\sum_{k=0}^{\infty}\frac{\left(\alpha\right)_{n}\left(\alpha^{\prime}\right)_{k}\left(\beta\right)_{n}\left(\beta^{\prime}\right)_{k}}{\left(\gamma\right)_{n+k}n!\,k!}z^{n}w^{k},$$
donde $\left|z\right|<1\land\left|w\right|<1$ .
Una representación integral para $F_{3}$ se deriva en el apéndice siguiente.
Ahora, asumiendo $0<a<1\land0<b$ encontramos
$$\begin{align} \mathcal{I}{\left(a,b\right)} &=\int_{0}^{a}\frac{\arcsin{\left(2t-1\right)}}{\sqrt{\left(a-t\right)\left(b+t\right)}}\,\mathrm{d}t\\ &=\int_{0}^{a}\mathrm{d}t\,\frac{1}{\sqrt{\left(a-t\right)\left(b+t\right)}}\int_{\frac12}^{t}\mathrm{d}u\,\frac{1}{\sqrt{u\left(1-u\right)}}\\ &=-\int_{0}^{a}\mathrm{d}t\,\frac{1}{\sqrt{\left(a-t\right)\left(b+t\right)}}\int_{0}^{\frac12}\mathrm{d}u\,\frac{1}{\sqrt{u\left(1-u\right)}}\\ &~+\int_{0}^{a}\mathrm{d}t\,\frac{1}{\sqrt{\left(a-t\right)\left(b+t\right)}}\int_{0}^{t}\mathrm{d}u\,\frac{1}{\sqrt{u\left(1-u\right)}}\\ &=-\frac{\pi}{2}\int_{0}^{a}\frac{\mathrm{d}t}{\sqrt{\left(a-t\right)\left(b+t\right)}}\\ &~+\int_{0}^{a}\mathrm{d}t\,\frac{1}{\sqrt{\left(a-t\right)\left(b+t\right)}}\int_{0}^{t}\mathrm{d}u\,\frac{1}{\sqrt{u\left(1-u\right)}}\\ &=-\frac{\pi}{2}\int_{0}^{a}\frac{\mathrm{d}u}{\sqrt{u\left(a+b-u\right)}};~\small{\left[a-t=u\right]}\\ &~+\int_{0}^{1}\mathrm{d}x\,\frac{a}{\sqrt{ax\left(a+b-ax\right)}}\int_{0}^{a-ax}\mathrm{d}u\,\frac{1}{\sqrt{u\left(1-u\right)}};~\small{\left[\frac{a-t}{a}=x\right]}\\ &=-\frac{\pi}{2}\int_{0}^{\frac{a}{a+b}}\frac{\mathrm{d}v}{\sqrt{v\left(1-v\right)}};~\small{\left[u=\left(a+b\right)v\right]}\\ &~+\int_{0}^{1}\mathrm{d}x\,\frac{a}{\sqrt{ax\left(a+b-ax\right)}}\int_{0}^{1-x}\mathrm{d}y\,\frac{a}{\sqrt{ay\left(1-ay\right)}};~\small{\left[u=ay\right]}\\ &=-\pi\int_{0}^{\sqrt{\frac{a}{a+b}}}\frac{\mathrm{d}w}{\sqrt{1-w^2}};~\small{\left[\sqrt{v}=w\right]}\\ &~~~+\frac{a}{\sqrt{a+b}}\int_{0}^{1}\mathrm{d}x\int_{0}^{1-x}\mathrm{d}y\,\frac{1}{\sqrt{yx\left(1-ay\right)\left(1-\frac{a}{a+b}x\right)}}\\ &=-\pi\arcsin{\left(\sqrt{\frac{a}{a+b}}\right)}+\frac{\pi a}{\sqrt{a+b}}F_{3}{\left(\frac12,\frac12;\frac12,\frac12;2;a,\frac{a}{a+b}\right)}.\\ \end{align}$$
Apéndice:
Dados los supuestos de los parámetros
$$\small{z,w\in\mathbb{D}\land\alpha,\alpha^{\prime},\beta,\beta^{\prime},\gamma\in\mathbb{C}\setminus\mathbb{Z}^{\le0}\land0<\Re{\left(\beta\right)}\land0<\Re{\left(\beta^{\prime}\right)}\land0<\Re{\left(\gamma-\beta-\beta^{\prime}\right)}}$$
una representación integral para la función hipergeométrica de Appell del tercer tipo puede derivarse como sigue:
$$\begin{align} F_{3} &=F_{3}{\left(\alpha,\alpha^{\prime};\beta,\beta^{\prime};\gamma;z,w\right)}\\ &=\sum_{n=0}^{\infty}\sum_{k=0}^{\infty}\frac{\left(\alpha\right)_{n}\left(\alpha^{\prime}\right)_{k}\left(\beta\right)_{n}\left(\beta^{\prime}\right)_{k}}{\left(\gamma\right)_{n+k}n!\,k!}z^{n}w^{k}\\ &=\sum_{n=0}^{\infty}\sum_{k=0}^{\infty}\frac{\left(\alpha\right)_{n}\left(\alpha^{\prime}\right)_{k}\left(\beta\right)_{n}\left(\beta^{\prime}\right)_{k}}{\left(\gamma\right)_{n}\left(\gamma+n\right)_{k}n!\,k!}z^{n}w^{k}\\ &=\sum_{n=0}^{\infty}\frac{\left(\alpha\right)_{n}\left(\beta\right)_{n}z^{n}}{\left(\gamma\right)_{n}n!}\sum_{k=0}^{\infty}\frac{\left(\alpha^{\prime}\right)_{k}\left(\beta^{\prime}\right)_{k}w^{k}}{\left(\gamma+n\right)_{k}\,k!}\\ &=\sum_{n=0}^{\infty}\frac{\left(\alpha\right)_{n}\left(\beta\right)_{n}z^{n}}{\left(\gamma\right)_{n}n!}\,{_2F_1}{\left(\alpha^{\prime},\beta^{\prime};\gamma+n;w\right)}\\ &=\small{\sum_{n=0}^{\infty}\frac{\left(\alpha\right)_{n}\left(\beta\right)_{n}z^{n}}{\left(\gamma\right)_{n}n!}\cdot\frac{1}{\operatorname{B}{\left(\beta^{\prime},\gamma+n-\beta^{\prime}\right)}}\int_{0}^{1}\frac{t^{\beta^{\prime}-1}\left(1-t\right)^{\gamma+n-\beta^{\prime}-1}}{\left(1-wt\right)^{\alpha^{\prime}}}\,\mathrm{d}t}\\ &=\small{\sum_{n=0}^{\infty}\frac{\left(\alpha\right)_{n}\left(\beta\right)_{n}z^{n}}{\left(\gamma\right)_{n}n!}\cdot\frac{\Gamma{\left(\gamma+n\right)}}{\Gamma{\left(\beta^{\prime}\right)}\,\Gamma{\left(\gamma+n-\beta^{\prime}\right)}}\int_{0}^{1}\frac{t^{\beta^{\prime}-1}\left(1-t\right)^{\gamma+n-\beta^{\prime}-1}}{\left(1-wt\right)^{\alpha^{\prime}}}\,\mathrm{d}t}\\ &=\small{\frac{\Gamma{\left(\gamma\right)}}{\Gamma{\left(\beta^{\prime}\right)}\,\Gamma{\left(\gamma-\beta^{\prime}\right)}}\sum_{n=0}^{\infty}\frac{\left(\alpha\right)_{n}\left(\beta\right)_{n}z^{n}}{\left(\gamma-\beta^{\prime}\right)_{n}n!}\int_{0}^{1}\frac{t^{\beta^{\prime}-1}\left(1-t\right)^{\gamma+n-\beta^{\prime}-1}}{\left(1-wt\right)^{\alpha^{\prime}}}\,\mathrm{d}t}\\ &=\small{\frac{1}{\operatorname{B}{\left(\beta^{\prime},\gamma-\beta^{\prime}\right)}}\int_{0}^{1}\mathrm{d}t\,\frac{t^{\beta^{\prime}-1}\left(1-t\right)^{\gamma-\beta^{\prime}-1}}{\left(1-wt\right)^{\alpha^{\prime}}}\sum_{n=0}^{\infty}\frac{\left(\alpha\right)_{n}\left(\beta\right)_{n}z^{n}\left(1-t\right)^{n}}{\left(\gamma-\beta^{\prime}\right)_{n}n!}}\\ &=\small{\frac{1}{\operatorname{B}{\left(\beta^{\prime},\gamma-\beta^{\prime}\right)}}\int_{0}^{1}\mathrm{d}t\,\frac{t^{\beta^{\prime}-1}\left(1-t\right)^{\gamma-\beta^{\prime}-1}}{\left(1-wt\right)^{\alpha^{\prime}}}{_2F_1}{\left(\alpha,\beta;\gamma-\beta^{\prime};z\left(1-t\right)\right)}}\\ &=\frac{1}{\operatorname{B}{\left(\beta^{\prime},\gamma-\beta^{\prime}\right)}\cdot\operatorname{B}{\left(\beta,\gamma-\beta-\beta^{\prime}\right)}}\times\\ &~\int_{0}^{1}\mathrm{d}t\,\frac{t^{\beta^{\prime}-1}\left(1-t\right)^{\gamma-\beta^{\prime}-1}}{\left(1-wt\right)^{\alpha^{\prime}}}\int_{0}^{1}\mathrm{d}u\,\frac{u^{\beta-1}\left(1-u\right)^{\gamma-\beta-\beta^{\prime}-1}}{\left(1-z\left(1-t\right)u\right)^{\alpha}}\\ &=\frac{\Gamma{\left(\gamma\right)}}{\Gamma{\left(\beta\right)}\,\Gamma{\left(\beta^{\prime}\right)}\,\Gamma{\left(\gamma-\beta-\beta^{\prime}\right)}}\times\\ &~\small{\int_{0}^{1}\mathrm{d}t\,\frac{t^{\beta^{\prime}-1}}{\left(1-wt\right)^{\alpha^{\prime}}}\int_{0}^{1-t}\mathrm{d}y\,\frac{y^{\beta-1}\left(1-t-y\right)^{\gamma-\beta-\beta^{\prime}-1}}{\left(1-zy\right)^{\alpha}}};~\small{\left[\left(1-t\right)u=y\right]}\\ &=\frac{\Gamma{\left(\gamma\right)}}{\Gamma{\left(\beta\right)}\,\Gamma{\left(\beta^{\prime}\right)}\,\Gamma{\left(\gamma-\beta-\beta^{\prime}\right)}}\times\\ &~~~\int_{0}^{1}\mathrm{d}x\int_{0}^{1-x}\mathrm{d}y\,\frac{x^{\beta^{\prime}-1}y^{\beta-1}\left(1-x-y\right)^{\gamma-\beta-\beta^{\prime}-1}}{\left(1-wx\right)^{\alpha^{\prime}}\left(1-zy\right)^{\alpha}}.\blacksquare\\ \end{align}$$
0 votos
Creo que tu metodología está un poco por encima de los habituales que suelen responder a este tipo de preguntas. En realidad, sólo hay un puñado de personas en este sitio que podrían responder a esta pregunta. Por ejemplo, la raíz cuadrada en el denominador significa que un análisis complejo sería superficial en el mejor de los casos. Si no has probado la expansión en serie, yo lo haría. En el peor de los casos, te aclarará algunas de las dificultades inherentes a este problema. Mucha suerte. :)
0 votos
Sólo por interés, ¿has resuelto el caso especial $a=b$ ¿Ya? Parece que no está tan mal después de todo.