La falacia en su prueba es, como otros han observado, en el último paso, en el que van de la (correcta) de la ecuación
$\langle \vec{v}, AB\vec{v} \rangle = \langle \vec{v}, BA\vec{v} \rangle$
a la conclusión incorrecta
Esto es cierto para cualquier vector de $\vec{v}$ por lo tanto $AB = BA$
Para ver por qué esto está mal, vamos a reformular la hipótesis subyacente aquí como una pregunta:
Supongamos $M, N$ son dos matrices tales que para todos los vectores $\vec{v}$, $\langle \vec{v}, M\vec{v} \rangle = \langle \vec{v}, N\vec{v} \rangle$. ¿Qué se puede concluir?
Le gustaría a la conclusión de que la $M = N$. Es eso cierto?
Debido a que el producto interior es bilineal, la suposición de que $\langle \vec{v}, M\vec{v} \rangle = \langle \vec{v}, N\vec{v} \rangle$ es equivalente a $\langle \vec{v}, (M-N)\vec{v} \rangle = 0$. Si se introduce una nueva matriz $K = M-N$, entonces la pregunta es equivalente a la siguiente:
Supongamos $K$ es una matriz tal que para todos los vectores $\vec{v}$, $\langle \vec{v}, K\vec{v} \rangle = 0$. ¿Qué puede usted concluir acerca de la $K$?
De nuevo, como a la conclusión de que la $K = 0$. Es que es necesariamente verdadera?
Indique en este formulario es tal vez más fácil de ver donde ha hecho su error. Tambien es cierto que $\langle \vec{v}, \vec{v} \rangle = 0 \Longrightarrow \vec{v} = 0$
(esta es una de las propiedades de cualquier producto interior), y la propiedad que desea hacer valer ve algo como esto, si no mirar demasiado de cerca. Pero no es cierto en general que si $\langle \vec{v}, K\vec{v} \rangle = 0$ para todos los $\vec{v}$, a continuación, $K = 0$. De hecho, $\langle \vec{v}, K\vec{v} \rangle = 0$ cumple para cualquier matriz antisimétrica $K$. En el ejemplo de la pregunta original $K = AB - BA$, el colector de los dos matrices simétricas, que siempre es antisimétrica.