En primer lugar, su integral es una función de $a$, no $x$: se da un número para cualquier $a$, la elección de $x$ no tiene ningún sentido.
$$I(a)=2\int_0^1 dx \arctan(1+a\ln x).$$
En segundo lugar, la estrategia para la expansión de Taylor era una buena idea, pero debe ampliar en $a$ en lugar de $x$ y alrededor de $0$ en lugar de $1$, debido a que usted necesita $a\ll 1$. Así que buscamos para los coeficientes de la expresión
$$I(a)=I(0)+I'(0)a+\tfrac{1}{2!}I''(0)a^2+\tfrac{1}{3!}I'''(0)a^3+O(a^4).\quad(1)$$
Lo primero que va a diferenciar el integrando $f(a,x):=\arctan(1+a\ln x)$ w.r.t $a$:
$$\partial_a f(a,x)=\frac{\ln x}{1+(1+a\ln x)^2}$$
Como usted dice que va a ser desordenada, el truco está aquí para reexpresar los nuevos derivados con la anterior:
$$\partial_a^2f(a,x)=({\text{standard rules}})=\frac{-(\ln x)^2}{(1+(1+a\ln x)^2)^2}2(1+a\ln x)=-2(1+a\ln x)(\partial_a f)^2$$
Ahora, esto nos va a ahorrar un montón de trabajo:
$$\partial_a^3f(a,x)=-2\ln x (\partial_a f)^2-2(1+a\ln x)\partial_a(\partial_a f)^2=-2\ln x(\partial_a f)^2-4(1+a\ln x)(\partial_a f)(\partial_a^2 f)$$
A continuación nos acaba de establecer $a=0$ y ver qué pasa
$$f(0,x)=\arctan(1)=\tfrac{\pi}{4}$$
$$\partial_a f(0,x)=\tfrac{1}{2}\ln x$$
$$\partial_a^2 f(0,x)=-\tfrac{1}{2}(\ln x)^2$$
$$\partial_a^3 f(0,x)=\tfrac{1}{2}(\ln x)^3$$
Ahora podemos calcular los coeficientes de la expansión de Taylor
$$I(0)=2\int_0^1 dx f(0,x)=\tfrac{\pi}{2}$$
$$I'(0)=2\int_0^1 dx \partial_a f(0,x)=\int_0^1 dx \ln x =(x\ln x -x)_{\epsilon\to 0}^1=-1$$
$$I''(0)=2\int_0^1 dx \partial_a^2 f(0,x)=-\int_0^1 dx (\ln x)^2 =-(x(\ln x)^2 -2x\ln x+2x)_{\epsilon\to 0}^1=-2$$
$$I'''(0)=2\int_0^1 dx \partial_a^3 f(0,x)=\int_0^1 dx (\ln x)^3 =(x(\ln x)^3-3x(\ln x)^2+6x\ln x-6x)_{\epsilon\to 0}^1=-6$$
Mantenerlo corto, yo no explica cómo hacer $\int dx (\ln x)^n$, por favor comente, si necesita más ayuda sobre eso!
Conectar todo en eq. (1) da:
$$I(a)=\tfrac{\pi}{2}-a-a^2-a^3+O(a^4)$$
Edit: Gracias a @gammatester el prefactor en $I'''$ se fija ahora :)