La multiplicación matricial que has realizado es correcta... la frase de expectativa es errónea.
Las rotaciones y las reflexiones son diferentes, en general. Las rotaciones suelen considerarse movimientos rígidos que preservan la orientación, y resulta que cualquier matriz para una rotación de este tipo tiene determinante 1. Las reflexiones, en cambio, son movimientos que invierten la orientación, y tienen que tener un determinante -1.
Si sirve de ayuda, podemos pensar en la geometría del plano por un segundo. Si tienes un triángulo dibujado en una hoja de papel y un punto marcado como origen, puedes girar este papel en torno al punto del papel. Para realizar un reflexión ¡hay que darle la vuelta al papel! Esta es la diferencia entre una rotación y una reflexión en el plano 2D.
Ejercicios para convencerte de que el cálculo que has hecho es correcto:
1) Puede confirmar que el reflejo que estaba realizando era ⎡⎢⎣1000−10001⎤⎥⎦ y que los determinantes de esta matriz y su matriz original son -1 y 1 respectivamente. Esto demuestra que las dos operaciones son definitivamente de caracteres diferentes.
2) Mira la "sombra" del punto en el y−z avión mientras el sol brilla en el x eje. (Me refiero a (102,103) ). Si giras eso 90 grados alrededor de la x eje, se puede ver que aterriza en el segundo y−z cuadrante. Por supuesto, este punto es la sombra del punto original después de la rotación. Dibuja un triángulo entre la antigua sombra, la nueva sombra y el origen, y verifica que es un triángulo rectángulo.
3) También sería un buen ejercicio intentar una rotación de 45 grados en su lugar. Haga una rotación de 45 grados en el y−z plano, y comprueba dónde está el punto (0,100,100) va. Ciertamente no será (0,−100,100) :)