Dejemos que $\Delta ABC$ sea nuestro triángulo y $KLMN$ sea nuestro rectángulo.
Hay tres casos:
1) $KN\subset AC$ ;
2) $KN\subset AB$ y
3) $KN\subset BC$ .
En el primer caso, dejemos $L\in AB$ y $M\in BC$ .
Por la fórmula de Heron $$S_{\Delta ABC}=\frac{1}{4}\sqrt{2(5^28^2+5^2(\sqrt{41})^2+8^2(\sqrt{41})^2)-5^4-(\sqrt{41})^4-8^4}=16.$$ Dejemos que $BD$ sea una altitud de $\Delta ABC$ .
Así, $$\frac{8BD}{2}=16,$$ que da $$BD=4.$$ Ahora, dejemos que $MN=x$ y como $\Delta LBM\sim\Delta ABC,$ obtenemos $$\frac{4-x}{4}=\frac{ML}{8},$$ que da $$ML=2(4-x).$$ Así, por AM-GM $$S_{KLMN}=2x(4-x)\leq2\left(\frac{x+4-x}{2}\right)^2=8.$$ La igualdad se produce para $x=2$ que dice que $8$ es un valor máximo en este caso.
De la misma manera podemos considerar otros casos y elegir el valor máximo.