Parece que quieres tomar el producto punto tal que un vector punteado consigo mismo da la norma de la magnitud al cuadrado. Para vectores reales $\mathbf{x}$ y $\mathbf{y}$ esto es $$\langle\mathbf{x},\mathbf{y}\rangle := \mathbf{x}^\top \mathbf{y}$$
Tenga en cuenta que una norma debe devolver siempre un valor real no negativo para que $$\langle\mathbf{x},\mathbf{x}\rangle \ge 0$$
Tenga en cuenta también que si $\mathbf{x}$ tiene valores complejos esta definición no es una norma. Para ver esto considere $\mathbf{x}^\top = (i,0,0,\dots)$ dando $$\mathbf{x}^\top \mathbf{x} = -1$$
Así, para los números complejos la norma es ligeramente diferente. Para ser una norma en el campo complejo, defina la norma como $$\langle\mathbf{x},\mathbf{y}\rangle := \mathbf{x}^\dagger \mathbf{y}$$ La diferencia es que en lugar de la transposición, es la transposición y complejo conjugado. En ese caso para el ejemplo $\mathbf{x}^\top = (i,0,0,\dots)$ \begin{align} \mathbf{x}^\dagger \mathbf{x} &= (-i,0,0,\dots) (i,0,0,\dots)^\top\\ & = -ii \\ &= -(-1)\\ & = 1 \\ \end{align}
En cuanto a tu deseo de medir su "similitud", estoy suponiendo que quieres el ángulo entre ellos, que (para los reales) requiere resolver la fórmula $$\cos\theta = \frac{\mathbf{x}^\top \mathbf{y}}{(\mathbf{x}^\top\mathbf{x})(\mathbf{y}^\top\mathbf{y})}$$
O más simplemente para $\vert \mathbf{x} \vert = 1$ y $\vert \mathbf{y} \vert = 1$
$$\cos\theta = \mathbf{x}^\top \mathbf{y}$$
La magnitud de la derecha estará entre cero y uno. Cero significa que los dos vectores son ortogonales (90 grados o $\pi\over 2$ ). Uno significa que son múltiplos escalares entre sí.
En el caso de los complejos, la magnitud sigue dando la "similitud" entre ellos, mientras que el ángulo complejo da el factor de fase complejo necesario para alcanzar plenamente esa similitud. En otras palabras, si su resultado es $\cos\theta=-i$ entonces $i\mathbf{x}$ es un múltiplo escalar real de $\mathbf{y}$ .