En realidad, no es demasiado difícil calcular el momento de inercia (MOI) de un triángulo rectángulo. Y puedes hacer tu triángulo a partir de un triángulo rectángulo grande menos un triángulo rectángulo más pequeño. Por lo tanto, tu MOI es simplemente el MOI del triángulo más grande menos el MOI del más pequeño.
Paso 1:
Extiende la línea $b$ (mueve el vértice $C$) hasta que tengas un triángulo rectángulo. Calcularemos el MOI respecto al vértice $A$. Estoy de acuerdo con @fibonatic en que es más fácil usar coordenadas polares. Así que tenemos \begin{equation} I_{ABC'} = \int_0^\alpha \int_0^{R(\theta)} (\rho_A\, r^2) r\, dr\, d\theta~. \end{equation} Aquí, $\alpha$ es el ángulo $\angle B A C$, que puedes calcular usando trigonometría. Además, $R(\theta)$ es la longitud de una línea $Aa$ que va desde el vértice $A$ a la línea $BC=a$, donde $\theta$ es el ángulo de esa línea por encima de la línea $b$. Un poco de trigonometría simple dice que $R(\theta) = b/\cos\theta$. \begin{align} I_{ABC'} &= \rho_A\, \int_0^\alpha \int_0^{b/\cos\theta} r^3\, dr\, d\theta \\ &= \rho_A\, \int_0^\alpha \left. \frac{r^4}{4} \right|_0^{b/ \cos\theta}\, d\theta \\ &= \frac{\rho_A\, b^4}{4}\, \int_0^\alpha \cos^{-4}\theta\, d\theta \\ &= \frac{\rho_A\, b^4}{24}\, \frac{3 \sin\alpha+\sin (3 \alpha )} {\cos^3\alpha} \end{align> [Soy terrible en integrales, así que solo busqué la respuesta para $\cos^{-4}$. Pero creo que es lo suficientemente fácil convencerte de que puedes manejar cualquier problema razonable de MOI.]
Paso 2:
Usa esta fórmula y el teorema del eje paralelo para obtener el MOI del triángulo rectángulo más pequeño que necesitas quitar del más grande para obtener tu triángulo.
Paso 3:
Resta el resultado del paso 2 del paso 1 para obtener el MOI de tu triángulo respecto al vértice $A$.
Paso 4:
Usa el teorema del eje paralelo para obtener tu MOI respecto al origen que desees.