Prefiero mantener la integración dominio de la plaza.
Mi sugerencia es tomar la derivada de más de parámetro $a$. Esto hace que la integral sea mucho más manejable. Arccos se ha ido, la raíz cuadrada simplifica y el $xy$ se desvanece. Que integral debería ser más fácil de evaluar. Luego, integrar en $a$ a recuperar la respuesta original.
El valor inicial en $a=0$ aún no se ha integrado con la mano aunque.
EDITAR:
$$F(a)=\iint \cos^{-1}\left(\frac{x^2+y^2-a^2}{2xy}\right)xy{\,\rm d}x{\,\rm d}y$$
Derivado con respecto a $a$:
$$F'(a)=\iint \frac{-1}{\sqrt{1-\left(\frac{x^2+y^2-a^2}{2xy}\right)^2}}\left(\frac{-a}{xy}\right)xy{\,\rm d}x{\,\rm d}y$$
$$F'(a)=a\iint \frac{1}{\sqrt{\frac{4x^2y^2-\left(x^2+y^2-a^2\right)^2}{(2xy)^2}}}{\,\rm d}x{\,\rm d}y$$
$$F'(a)=a\iint \frac{2xy}{\sqrt{2a^2(x^2+y^2)-a^4-(x^2-y^2)^2}}{\,\rm d}x{\,\rm d}y$$
Esto puede ser más fácil de integrar. Al menos una vez, se puede hacer en casi trivialmente ($u=x^2$). O, se puede utilizar $u=x^2+y^2$$v=x^2-y^2$, que establece la integración de dominio a la diagonal de la plaza obligado por $u+v=2L$, $u-v=2L$, $u+v=0$, $u-v=0$ que se podría cortar en dos la simetría. Que no es mucho mejor, pero al menos, menos de la escritura.
$$F'(a)=a\left(\int_0^{L}\int_0^{u}+\int_L^{2L}\int_0^{2L-u}\right) \frac{1}{\sqrt{2a^2u-a^4-v^2}}{\,\rm d}v{\,\rm d}u$$
Tenga en cuenta que esto es sólo una sugerencia - la segunda integation todavía es horrible y no se puede producir resultados. No tengo Mathematica conmigo, así que no estoy comprobando ahora.
Si te las arreglas para evaluar la integral de ahora, que acaba de integrar de nuevo:
$$F(a)=F(0)+\int_0^a F(t){\,\rm d}t$$
