La elección del producto interior define la noción de ortogonalidad.
La noción habitual de ser "perpendicular" depende de la noción de "ángulo" que resulta depender de la noción de "producto punto".
Si se cambia la forma de medir el "producto punto" para dar un producto interior más general, entonces cambiamos lo que entendemos por "ángulo", y así tenemos una nueva noción de ser "perpendicular", que en general llamamos ortogonalidad.
Por lo tanto, cuando se aplica el procedimiento de Gram-Schmidt a estos vectores, NO se obtienen necesariamente vectores que sean perpendiculares en el sentido habitual (su producto escalar puede no ser $0$ ).
Apliquemos el procedimiento.
Dice que para obtener una base ortogonal empezamos con uno de los vectores, digamos $u_1 = (-1,1,0)$ como primer elemento de nuestra nueva base.
Luego hacemos el siguiente cálculo para obtener el segundo vector en nuestra nueva base:
$u_2 = v_2 - \frac{\langle v_2, u_1\rangle}{\langle u_1, u_1\rangle} u_1$
donde $v_2 = (-1,1,2)$ .
Ahora $\langle v_2, u_1\rangle = 3$ y $\langle u_1, u_1\rangle = 3$ para que nos den:
$u_2 = v_2 - u_1 = (0,0,2)$ .
Así que su base es correcta. Comprobemos que estos vectores son efectivamente ortogonales. Recuerde, esto es con respecto a nuestro nuevo producto interno. Encontramos que:
$\langle u_1, u_2\rangle = 3(-1)(0) + (1)(0) + 2(0)(2) = 0$
(aquí también nos tocó una base que es perpendicular en el sentido tradicional, esto fue una suerte).
Ahora bien, ¿es la base ortonormal? (en otras palabras, ¿son vectores unitarios?). No lo son, así que para obtener una base ortonormal debemos dividir cada uno por su longitud. Ahora bien, no se trata de la longitud en el sentido habitual de la palabra, porque de nuevo es algo que depende del producto interior que se utilice. La forma pitagórica habitual de encontrar la longitud de un vector es:
$||x||=\sqrt{x_1^2 + ... + x_n^2} = \sqrt{x . x}$
No es más que la raíz cuadrada del producto punto por sí mismo. Así que con productos internos más generales podemos definir una "longitud" vía:
$||x|| = \sqrt{\langle x,x\rangle}$ .
Con esta longitud vemos que:
$||u_1|| = \sqrt{2(-1)(-1) + (1)(1) + 3(0)(0)} = \sqrt{3}$
$||u_2|| = \sqrt{2(0)(0) + (0)(0) + 3(2)(2)} = 2\sqrt{3}$
(fíjate en que son diferentes a los que normalmente obtendrías utilizando la vía pitagórica).
Así, una base ortonormal viene dada por:
$\{\frac{u_1}{||u_1||}, \frac{u_2}{||u_2||}\} = \{(\frac{-1}{\sqrt{3}}, \frac{1}{\sqrt{3}}, 0), (0,0,\frac{1}{\sqrt{3}})\}$