Voy a escribir su integral como
$$\int_0^{\infty} dx \: x^2 \log{(1-e^{-a x})} = \frac{1}{3} \int_0^{\infty} d(x^3) \log{(1-e^{-a x})} $$
Ahora integrar por partes:
$$ = \frac{1}{3} [x^3 \log{(1-e^{-a x})}]_0^{\infty} - \frac{1}{3} \int_0^{\infty} dx\: x^3 \frac{d}{dx} \log{(1-e^{-a x})} $$
El término entre corchetes va a cero en $\infty$ $0$ (por qué?), así, obtenemos
$$ = -\frac{a}{3} \int_0^{\infty} dx\: x^3 e^{-a x} (1-e^{-a x})^{-1} $$
Para algunos valores de $a$ (¿cuáles?), podemos Taylor ampliar el término en paréntesis dentro de la integral y obtener
$$ = -\frac{a}{3} \int_0^{\infty} dx\: x^3 e^{-a x} \sum_{k=0}^{\infty} e^{-k a x} $$
Debido integral y la suma son absolutamente convergentes (aplicación del teorema de Fubini), podemos intercambio orden de la suma y la integral y obtener:
$$ -\frac{a}{3} \sum_{k=0}^{\infty} \int_0^{\infty} dx\: x^3 e^{-(k+1) a x} $$
Estas integrales son bien conocidos:
$$ \int_0^{\infty} dx\: x^3 e^{-(k+1) a x} = \frac{3!}{a^4 (k+1)^4} $$
así que ahora tenemos
$$\int_0^{\infty} dx \: x^2 \log{(1-e^{-a x})} = -\frac{2}{a^3} \sum_{k=0}^{\infty} \frac{1}{(k+1)^4} = -\frac{\pi^4}{45 a^3} $$