Aunque no sé el verdadero trucos detrás de el problema, el problema no es tan terrible como parece.
Como $A$ $B$ viaje, son simultanesouly triangularisable $\mathbb C$. Dado que el $\det(B)=0$, podemos suponer que la $A$ $B$ son matrices triangulares cuya diagonal entradas son, respectivamente,$a_1,a_2,a_3$$b_1,b_2,0$. Así, los otros tres determinante de las condiciones de la cantidad a
\begin{align}
(a_1-b_1)(a_2-b_2)a_3&=1,\tag{1}\\
(a_1+b_1)(a_2+b_2)a_3&=3,\tag{2}\\
(a_1^2+b_1^2)(a_2^2+b_2^2)a_3^2&=1.\tag{3}
\end{align}
Por lo tanto $a_3$ es distinto de cero. Ahora $A$ debe ser invertible. De otro modo, si, por ejemplo, $a_2=0$, entonces la suma y la diferencia de $(1)$ $(2)$ daría $a_1b_2a_3=1$$b_1b_2a_3=2$, lo que contradice $(3)$.
Deje $C=A^{-1}B$. A continuación, $C$ es singular (porque $B$ es). Deje que su complejo de autovalores ser $x,y,0$. Por las condiciones dadas, tenemos
\begin{align}
\det(I+C)&=3\det(I-C),\\
(1+x)(1+y)&=3(1-x)(1-y),\\
2(x+y)&= xy + 1,\tag{4}
\end{align}
y también
\begin{align}
\det(I-C)^2&=\det(I+C^2),\\
(1-x)^2(1-y)^2 &= (1+x^2)(1+y^2),\\
4xy - 2(x+y)(xy+1) &= 0,\\
4xy - (xy+1)^2 &= 0 \quad\text{ by } (4),\\
xy &= 1.\tag{5}
\end{align}
Ahora las ecuaciones de $(4)$ $(5)$ muestran que $x$ $y$ son las raíces de las ecuaciones $xy=1$$x+y=1$. Como $C$ es una verdadera matriz, nonreal autovalores debe ocurrir en un par conjugado, por lo $\{x,y\}=\{e^{i\pi/3},e^{-i\pi/3}\}$. Sustituto $b_1=e^{i\pi/3}a_1$ $b_2=e^{-i\pi/3}a_2$ a $(1)$, obtenemos $\det(A)=1$. Por lo tanto
$$
\det(A^n+B^n)=\det(I+C^n)\det(A)^n=|1+e^{\pi/3}|^2=2 + 2\cos\left(\frac{n\pi}{3}\right).
$$