Hay dos enfoques básicos para este problema. Uno es encontrar los valores propios/vectores propios de la transformación, y luego calcular la traza/determinante utilizando el producto/suma (creo que esto es lo que Qiaochu tiene en mente). La otra es tratar de interpretar la traza/determinante en el contexto de los mapas en $M_n(\Bbb R)$ .
Una pista: (Para el enfoque 1) Supongamos que $A$ es diagonal. ¿Cuáles son los valores propios/vectores propios de $A$ ¿se ve así? Consideremos en particular el caso en que todos los valores propios de $A$ son distintos. Ahora, ¿qué hacen los vectores propios de $A$ parecer si $A$ es diagonalizable ?
Una vez que se tiene el resultado para las matrices diagonalizables, se puede obtener el resultado general utilizando la continuidad de la traza/determinante, o extendiendo nuestro argumento anterior utilizando la forma de Jordan.
Una pista: (Para el enfoque 2) Podemos calcular la traza de un mapa $\tau:M_n(\Bbb R)\to M_n(\Bbb R)$ como $$ \sum_{i,j = 1}^n \operatorname{trace}(E_{ij}^T \tau(E_{ij})) $$ donde $E_{ij}$ denota la matriz con un $1$ en el $i,j$ y ceros en el resto.
Para calcular el determinante, es útil considerar este mapa como una composición. A saber, $\tau_A = \tau^{(1)}_A \circ \tau^{(2)}_A$ , donde $$ \tau^{(1)}(X) = AX, \qquad \tau^{(2)}(X) = XA^T $$ Si se encuentran las matrices de $\tau^{(1)}$ y $\tau^{(2)}$ en relación con la base $\{E_{ij}: 1 \leq i,j \leq n\}$ (tomados en orden lexicográfico), entonces verá que es fácil calcular $\det \tau^{(1)}$ y $\det \tau^{(2)}$ aprovechando la estructura de bloques de estas matrices.
