La cuestión es que actuando por la matriz
$$ \begin{bmatrix} -1 & 0\\ 0 & 1 \end{bmatrix} $$
o su negativo no es la única manera de pasar de la forma $f(x,y)$ a la forma $f(-x,y)$ .
Puede comprobar a mano que actuando en el formulario $f(x,y) = x^2 + xy + 2y^2$ por la matriz
$$ \begin{bmatrix} 1 & -1 \\ 0 & 1 \end{bmatrix} $$
produce la forma deseada $f(-x,y) = x^2 - xy + 2y^2$ y esta matriz tiene el determinante $1$ .
Demostrando que ninguna matriz de determinante 1 llevará $3x^2 + xy + 4y^2$ a $3x^2 - xy + 4y^2$ es mucho más difícil. La manera más fácil es aprender sobre la reducción de formas y luego ver que estas dos formas están en diferentes clases de equivalencia reduciéndolas y viendo que se obtienen diferentes formas reducidas.
(Se puede demostrar que en una clase, o bien cada forma $f(x,y)$ tiene la propiedad de ser equivalente a $f(-x,y)$ o ninguna forma lo hace. Más tarde, cuando se aprende sobre la composición de formas, se descubre el resultado seminal de Gauss de que las clases primitivas de formas de discriminante $d$ formar un grupo. La operación de pasar de $f(x,y)$ a $f(-x,y)$ es la inversión en este grupo, por lo que las clases de formas con $f(x,y)$ equivalente a $f(-x,y)$ son precisamente las clases de orden que dividen $2$ en el grupo de clase).