Yo uso $\langle \cdot,\cdot\rangle$ para el producto escalar.
De:
$$
\begin{vmatrix}
\vec{a}&\vec{b}&\vec{c}\\
\langle\vec{a},\vec{a}\rangle&\langle\vec{a},\vec{b}\rangle&\langle\vec{a},\vec{c}\rangle\\
\langle\vec{b},\vec{a}\rangle&\langle\vec{b},\vec{b}\rangle&\langle\vec{b},\vec{c}\rangle
\end{vmatrix}=\vec{0}
$$
tenemos:
$$
\vec un
\begin{vmatrix}
\langle\vec{a},\vec{b}\rangle&\langle\vec{a},\vec{c}\rangle\\
\langle\vec{b},\vec{b}\rangle&\langle\vec{b},\vec{c}\rangle
\end{vmatrix}
- \vec b
\begin{vmatrix}
\langle\vec{a},\vec{a}\rangle&\langle\vec{a},\vec{c}\rangle\\
\langle\vec{b},\vec{a}\rangle&\langle\vec{b},\vec{c}\rangle
\end{vmatrix}
+\vec c
\begin{vmatrix}
\langle\vec{a},\vec{a}\rangle&\langle\vec{a},\vec{b}\rangle\\
\langle\vec{b},\vec{a}\rangle&\langle\vec{b},\vec{b}\rangle
\end{vmatrix}=\vec un|Una|-\vec b|B|+\vec c|C| =0 \qquad \Rightarrow
$$
$$
\Rightarrow
\vec c =\dfrac{\vec b |B|}{|C|}-\dfrac{\vec un |Una|}{|C|}
$$
así, por la linealidad de la cámara de producto, tenemos:
$$
\langle\vec c,\vec c\rangle =\dfrac{\langle\vec b,\vec c\rangle |B|}{|C|}-\dfrac{\langle\vec un,\vec c\rangle |A|}{|C|}
$$
es decir,
$$
\langle \vec c,\vec c\rangle |C|+\langle \vec c,\vec\rangle |A|-\langle \vec c,\vec b\rangle |B|=0
$$
y, de vuelta a la sustitución de $|A|,|B|,|C|$ vemos que este es el Gramian de los tres vectores es nulo si los vectores son coplanarios.
