Suponiendo que la esquina del triángulo es el origen de un plano cartesiano, la línea de la hipotenusa es $$y = -\frac{a}{b} x + a$$
El centro del segundo círculo está en $\begin{bmatrix} 3r \\ r \end{bmatrix}$.
El radio del segundo círculo es el vector dirigido $\begin{bmatrix} ra \\ rb \end{bmatrix}\frac{1}{\sqrt{a^2 + b^2}}$.
En conjunto :
$$\frac{rb}{\sqrt{a^2 + b^2}} + r = -\frac{a}{b}\left(3r + \frac{ra}{\sqrt{a^2 + b^2}}\right) + a$$
$$r = \frac{ab}{ 3a + b + \sqrt{a^2 + b^2}}$$
Dado que Blue mostró un enfoque elegante basado en volumen, supongo que intentaré un enfoque basado en coordenadas multidimensionales. Supongamos que el origen es $\begin{bmatrix} 0 \\ 0 \\ 0 \\ \vdots \end{bmatrix}$ y los puntos $\begin{bmatrix} \mathcal{l}_0\\ 0 \\ 0 \\ \vdots \end{bmatrix}$, $\begin{bmatrix} 0 \\ \mathcal{l}_1 \\ 0 \\ \vdots \end{bmatrix}$, $\begin{bmatrix} 0 \\ 0 \\ \mathcal{l}_2 \\\vdots \end{bmatrix}$ etc. forman un triángulo rectángulo multidimensional. Supongamos que una hiperesfera está encajada en el origen y una hiperesfera está encajada en la esquina a lo largo del primer eje.
El plano de la hipotenusa del triángulo es $$\frac{x_0}{\mathcal{l}_0} + \frac{x_1}{\mathcal{l}_1} + \frac{x_2}{\mathcal{l}_2} + \dots = 1 \tag{Ecuación del plano}$$
O equivalentemente, usando $\circ$ para el producto punto y $N = \begin{bmatrix} \frac{1}{\mathcal{l}_0} \\ \frac{1}{\mathcal{l}_1} \\ \frac{1}{\mathcal{l}_2} \\ \vdots \end{bmatrix}$, entonces el plano es: $$N \circ X = 1 \tag{Ecuación del plano con producto punto}$$
El centro de la segunda hiperesfera es $$c = \begin{bmatrix} 3r \\ r \\ r \\ \vdots\end{bmatrix} = rc_0 \tag{Centro de la segunda hiperesfera}$$
El vector dirigido desde el centro de la segunda hiperesfera hasta el plano de la hipotenusa es $$r_2 = r\frac{N}{|N|}\tag{Radio dirigido a la hipotenusa}$$
En conjunto: $$N \circ (c + r_2) = 1$$ $$N \circ \left(rc_0 + r\frac N {|N|}\right) = 1$$ $$\begin{align} r &= \frac{1}{N \circ c_0 + |N|} \\ &= \frac{1}{3l_0^{-1} + l_1^{-1} + l_2^{-1} \dots + \sqrt{l_0^{-2} + l_1^{-2} + l_2^{-2} \dots}} \end{align}$$
Nótese que esta es la misma respuesta que la de Blue, pero con $\mathcal{l}_0\mathcal{l}_1 \mathcal{l}_2 \dots$ factorizado fuera del numerador y denominador.