Buena suerte. Para verificar la cancelación para grupos particulares como $E_8\times E_8$ y $SO(32)$, realmente tendrás que pasar por tareas grupales similares. La fórmula de traza similar para las trazas de las transformaciones de $E_8$ son especialmente deliciosas, incluido el factor de $1/30.
El caso ortogonal es más fácil incluso si uno no es un amigo íntimo de todas las "cosas de Chern", y yo no lo soy.
En tu fórmula, $\exp(iF)$ puede entenderse como un elemento general del grupo $SO(n)$ mientras que $F$ es un elemento del álgebra de Lie. Este último es antisimétrico en la representación fundamental, ¿de acuerdo? Por lo tanto, puede ser "diagonalizado", y los autovalores se emparejan en pares $\pm\lambda_i.
De manera similar, $\exp(iF)$ puede ser diagonalizado y los autovalores vienen en pares $\exp(\pm i\lambda_j)$, ¿de acuerdo? Alternativamente, el bloque $2\times 2$ con estos autovalores puede escribirse como la matriz $((\cos\lambda_j,\sin\lambda_j),(-\sin\lambda_j,\cos\lambda_j))$.
Ahora, es importante darse cuenta de cómo lucen los elementos de la matriz en la representación adjunta. La representación adjunta de $SO(n)$ es dimensional $n(n-1)/2$, ¿de acuerdo? Permíteme asumir que $n$ es par: incrustar $SO(2k+1)$ en $SO(2k+2)$ si es necesario. Es la parte antisimétrica del producto tensorial $n\times n$. Por lo tanto, si los elementos de la matriz de una transformación $\exp(iF)$ en la representación fundamental son $\exp(i\lambda_j)$, los elementos de la matriz en la representación adjunta (tensor antisimétrico) son combinaciones de productos de dos elementos similares, es decir, combinaciones de $\exp(i\lambda_j+i\lambda_k)$, ¿de acuerdo?
Es fácil ver que si diagonalizamos $\exp(iF)$ en la representación fundamental, con autovalores $\exp(\pm \lambda_j)$, la traza sobre la representación fundamental es solo la suma de estas fases, que es $$ {\rm tr} (\exp(iF)) = \sum_{\pm} \sum_j \exp(\pm i\lambda_j) = 2\sum_j \cos\lambda_j $$ En la base naturalmente asociada de la representación adjunta, la transformación $\exp(iF)$ también está diagonalizada. Dado que los vectores de base $n(n-1)/2$ son solo pares de vectores de la base fundamental, las entradas diagonales de $\exp(iF)$ son solo productos de dos entradas diagonales en la representación fundamental, por lo que son $$\exp(\pm i\lambda_j\pm i\lambda_k), \quad j \lt k$$ donde los dos signos $\pm$ son independientes. La traza es la suma de todos estos números, que es $${\rm Tr}(\exp(iF)) = \sum_{j\lt k} \left[ 2\cos(\lambda_j+\lambda_k)+2\cos(\lambda_j-\lambda_k) \right] $$ Este es el lado izquierdo de tu identidad. El primer término en el lado derecho es $$ \frac 12 2^2\left(\sum_j \cos\lambda_j \right)^2$$ donde simplemente elevé al cuadrado un resultado anterior, mientras que el segundo término es $$ - \frac 12 \sum_j 2\cos 2\lambda_j $$ donde simplemente duplicé el argumento del coseno. Ahora, ambos lados pueden simplificarse a $$ 4\sum_{j\lt k} \cos \lambda_j \cos \lambda_k $$ En el caso del lado izquierdo, es porque los términos $\sin\cdot\sin$ se cancelan cuando se suman los dos términos con signos iguales u opuestos. Se utiliza $\cos(a+b)=\cos a\cos b - \sin a \sin b$ - tal vez todas las cosas serían más simples usando la notación exponencial compleja, de todos modos. En el caso del lado derecho, los términos $j\neq k$ del primer término son correctos, incluido el factor correcto de cuatro, mientras que los términos $j=k$ deben restarse del primer término por el segundo término. Bueno, queda un término constante: $$2\cos^2 \lambda_j - \cos 2\lambda_j = 1$$ Pero los términos constantes coinciden porque se verifican cuando $\lambda_j=0$ para todos los $j$. La traza del operador identidad ($F=0$) en el lado izquierdo es $n(n-1)/2$, simplemente la dimensión de la rep, mientras que el primer término en el lado derecho produce $n^2/2$ y el segundo te da $-n/2`, así que las cosas están bien.
Estoy seguro de que completarás los detalles y preguntarás si algo realmente necesita algo de asistencia adicional.
Por supuesto que existen pruebas que evitan la diagonalización y pruebas que están conceptualmente vinculadas a partes más esotéricas de las matemáticas. Pero un cálculo explícito utilizando los elementos de matriz explícitos de las transformaciones en ambas representaciones podría ser útil para pasar al menos una vez en la vida.
Por cierto, puede que hayas notado que la base en la que se diagonalizaron las transformaciones era "compleja" - las coordenadas de los autovectores en relación con la "base real habitual" del espacio $n$-dimensional eran complejas. Pero eso no es un problema. Acabo de resolver un problema más general para las trazas en todo el grupo $SO(n,C)$, y el resultado para $SO(n,R)$ puede considerarse un caso especial de él. En general, en física y matemáticas lo suficientemente "profundas", uno nunca debería protestar contra los números complejos (coordenadas complejas de autovectores y quizás autovalores complejos de matrices unitarias, etc.) mientras se diagonalizan cosas.
