Permítanme en primer lugar del estado del resultado:
$$
f_{X,Y|k,m}(x,y) = \frac{2}{\sqrt{y^2-4 x}} \frac{x^{k-1} e^{-\frac{y}{m}}}{(k-1)!^2 m^{2 k} } I(x>0,y>0,y^2 > 4 x)
$$
Muchos posts dedicados al tema de la determinación de la función de densidad de probabilidad de la función de variables aleatorias, es decir, este, ese, y otros cargos referidos en el mismo.
La asignación de $(A,B) \mapsto (A B, A+B)$ es para. Específicamente, para
$$
x= b, y = a+b \implica a = \frac{1}{2} \left( y \pm \sqrt{y^2-4x}\right), b = \frac{1}{2} \left( y \mp \sqrt{y^2-4x}\right)
$$
El Jacobians son fáciles de calcular:
$$
J_{\pm} = \left| \begin{array}{cc} \frac{\partial a}{\partial x} & \frac{\partial a}{\partial y} \cr \frac{\partial b}{\partial x} & \frac{\partial b}{\partial y} \end{array} \right| = \left| \begin{array}{cc} \mp \frac{1}{\sqrt{y^2-4x}} & \pm \frac{a}{\sqrt{y^2-4x}} \cr \pm \frac{1}{\sqrt{y^2-4x}} & \mp\frac{b}{\sqrt{y^2-4x}}\end{array} \right| = \frac{b}{y^2 - 4 x} = \mp \frac{1}{\sqrt{y^2-4x}}
$$
Ahora podemos leer en $f_{X,Y}(x,y)$ de producto medida para $(A,B)$:
$$ \begin{eqnarray}
f_A(a) f_B(b) \mathrm{d} a \mathrm{d} b &=& \left( \frac{1}{\Gamma(k)} \frac{a^{k-1}}{m^k} \mathrm{e}^{-\frac{a}{m}} \mathbf{1}_{a>0} \right) \cdot \left( \frac{1}{\Gamma(k)} \frac{b^{k-1}}{m^k} \mathrm{e}^{-\frac{b}{m}} \mathbf{1}_{b>0} \right) \mathrm{d} a \mathrm{d} b \\
&=& \frac{(a b)^{k-1}}{\Gamma^2(k) m^{2k}} \mathrm{e}^{-\frac{a+b}{m}} \mathbf{1}_{a>0} \mathbf{1}_{b>0} \mathrm{d} a \mathrm{d} b \\ &=&
\frac{x^{k-1}}{\Gamma^2(k) m^{2k}} \mathrm{e}^{-\frac{y}{m}} I(x>0,y>0,y^2>4x) \left(| J_+ | + | J_- | \right) \mathrm{d} x \mathrm{d} y
\end{eqnarray}
$$
