Tenga en cuenta que si nAB es un vector unitario perpendicular a la gran circunferencia que pasa por A y B, entonces también lo es −nAB. Para cada lado del triángulo esférico hay dos vectores unitarios perpendiculares a ese lado, cada uno de ellos exactamente opuesto al otro.
Cuando inviertes la dirección de uno de los vectores en un producto punto, inviertes el signo del producto, y el coseno del arco que habrías obtenido se sustituye por su suplemento. Si al calcular los ángulos se obtiene sólo uno de los vectores unitarios "al revés", se calculará el ángulo exterior en el vértice cuyo ángulo interior se quería.
Una forma de evitar este error es asegurarse de tomar cada par de vectores en sus productos cruzados en la misma "dirección" alrededor del triángulo. Por ejemplo, puedes tomar A×B, B×C, y C×A. También puedes invertir los tres productos cruzados. Si utilizas un método diferente para encontrar los vectores normales unitarios, asegúrate de que el producto punto de cada normal con el vector del vértice restante es positivo en los tres casos, o asegúrate de que los tres productos punto son negativos. Sin embargo, esto tiene un giro: cuando se establecen las normales de esta manera, se obtienen normales que van en direcciones casi opuestas cuando el ángulo del vértice es muy pequeño, pero van en casi la misma dirección cuando el ángulo del vértice es muy grande. Por lo tanto, simplemente tomando el coseno del arco de un producto punto, arccos(n1⋅n2). te dará el ángulo exterior, así que en realidad quieres arccos(−n1⋅n2) para obtener el ángulo interior.
Otra forma que funciona (como has apuntado en un comentario) es utilizar productos cruzados para encontrar las normales, pero asegurándote de que el vértice en el que quieres encontrar el ángulo es el primer vector en ambos productos cruzados o el segundo vector en ambos productos cruzados. De esta forma las normales apuntarán casi en la misma dirección cuando el ángulo sea pequeño y serán casi opuestas cuando el ángulo sea grande, y podrás tomar arccos(n1⋅n2) sin requerir un signo negativo. Utilizando este método, se necesitan al menos cuatro productos cruzados, pero como B×A=−A×B este método no requiere realmente ningún cálculo extra, sólo invertir el vector cuando se necesita el otro producto cruzado.
Una cosa que debe no hacer es tener dos normales que sigan una regla y la tercera que siga la regla contraria. Esto hará que se computen ángulos exteriores en dos vértices. Parece que tu nAC es el "camino equivocado" en comparación con sus otros dos vectores normales.
El mero hecho de tener varios ángulos obtusos en un triángulo esférico no indica que se hayan calculado mal los ángulos. La suma de los ángulos de un triángulo esférico puede ser cualquier cosa hasta 540 grados.