Si se acepta que la rotación en sentido contrario a las agujas del reloj por $\theta$ es una transformación lineal, entonces la transformación se determina por su efecto sobre los vectores base estándar $(1,0)$ y $(0,1)$ . Entonces, veamos a dónde se envían esos vectores.
Las fórmulas provienen de la trigonometría que se realiza, y te animo a que lo saques al menos una vez. El vector $(1,0)$ apunta directamente a la derecha a lo largo del $x$ -y después de aplicar la transformación (girando por $\theta$ ), obtenemos un nuevo vector, todavía en el círculo unitario, con el ángulo $\theta$ de la $x$ -eje. Esencialmente por la definición de coseno y seno, esto significa que el nuevo $x$ coordenada es $\cos(\theta)$ y el nuevo $y$ coordenada es $\sin(\theta)$
Del mismo modo, cuando observamos lo que ocurre con $(0,1)$ en esa imagen, vemos que se envía a un vector con $x$ -coordinar $-\sin(\theta)$ y $y$ -coordinar $\cos(\theta)$ .
Esto significa que la transformación por $\theta$ grados pueden ser promulgados por la matriz $$\begin{pmatrix} \cos(\theta) & -\sin(\theta) \\ \sin(\theta) & \cos(\theta) \end{pmatrix}$$
En consecuencia, podemos averiguar qué hace esta transformación a un vector arbitrario $(x,y)^T$ multiplicándolo por la izquierda por esta matriz para obtener (suponiendo que lo haya hecho bien) $$\begin{pmatrix} x \cdot \cos(\theta) - y \cdot \sin(\theta) \\ x \cdot \sin(\theta) + y \cdot \cos(\theta) \end{pmatrix}$$
También puedes comprobarlo de una forma menos lineal, pensando en la rotación del vector arbitrario para empezar, pero creo que si entiendes una forma estarás cerca de entender la otra.
También se puede obtener la matriz para la rotación en el sentido de las agujas del reloj de forma similar: envía $(1,0)$ a $(\cos(\theta), -\sin(\theta))$ y envía $(0,1)$ a $(\sin(\theta),\cos(\theta))$ por lo que la matriz correspondiente a la transformación es $$\begin{pmatrix} \cos(\theta) & \sin(\theta) \\ -\sin(\theta) & \cos(\theta) \end{pmatrix}$$
y el resultado de aplicar esta matriz a un vector arbitrario $(x,y)^T$ es $$\begin{pmatrix} x \cdot \cos(\theta) + y \cdot \sin(\theta) \\ -x \cdot \sin(\theta) + y \cdot \cos(\theta) \end{pmatrix}$$
En cuanto a la razón por la que te equivocas en la respuesta: Sospecho que estás usando una calculadora que espera entradas de radianes para las funciones trigonométricas. Probablemente estás introduciendo 45 pensando que son 45 grados, pero la calculadora lo interpreta como 45 radianes y te da una respuesta extraña. Prueba de nuevo con $\pi / 4$ radianes, o cambia tu calculadora para trabajar con grados.