En mi libro de álgebra lineal, tienen corchetes angulares alrededor de dos vectores diferentes, por lo que se ve así: $\langle\mathbf{u_2},\mathbf{v}_1\rangle$. No utilizan corchetes angulares para definir vectores, sino que utilizan paréntesis regulares en su lugar.
Para el proceso de Gram-Schmidt, definen
$\mathbf{v}_1 = \mathbf{u}_1 = (1,1,1)$
y
$\mathbf{v}_2 = \mathbf{u}_2 = \mathbf{u}_2 - \dfrac{\langle\mathbf{u}_2, \mathbf{v}_1\rangle}{\|\mathbf{v}_1\|^2} \mathbf{v}_1$
donde $\mathbf{u}_2 = (0,1,1)$
Concluyen que esa fórmula es igual a
$(0,1,1) - \dfrac{2}{3}(1,1,1)$.
¿Qué operación realizan los corchetes angulares para obtener ese resultado?