Vamos a darle la vuelta a esto. Si quisieras saber (para vectores generales) qué vector es perpendicular a ambos, tendrías que resolver dos ecuaciones con tres incógnitas. Sabes que el producto punto de dos vectores es cero si son perpendiculares, así que escribirías
$$\vec{x}\cdot \vec{a} = 0\\ \vec{x}\cdot \vec{b} = 0$$
Pero si trabajas en tres dimensiones, eso te deja con dos ecuaciones y tres incógnitas, por lo que no puedes resolverlo.
Podríamos añadir una tercera restricción. Por ejemplo, podríamos decidir que la longitud del tercer vector tiene que ser igual al área del paralelogramo descrito por los dos primeros vectores. Sabemos que el área es $A=|\vec{a}|\cdot|\vec{b}|\cdot \sin\theta$ . Eso me da la longitud del vector $\vec{x}$ y mi tercera ecuación.
Ahora tengo tres ecuaciones y tres incógnitas. Podría escribirlas en su totalidad: las dos primeras son fáciles:
$$x_1 a_1 + x_2 a_2 + x_3 a_3 = 0\\ x_1 b_1 + x_2 b_2 + x_3 b_3 = 0$$
La tercera es más difícil. Siguiendo http://heaveninthebackyard.blogspot.com/2011/12/derivation-of-cross-product-formula.html si se establece la longitud del vector $\vec{x}$ igual a 1, podrías resolver las ecuaciones pero son bastante complicadas:
$$\vec{x} = ±\frac{1}{Z}(a_3b_2 - a_2 b_3, a_1b_3 - a_3 b_1, a_2 b_1 - a_1 b_2)$$
Luego, un poco más de manipulación te dice que si en lugar de eso pones la longitud igual a la magnitud del área, la expresión se simplifica a la que conocemos y amamos.
No dudes en leer las líneas y líneas de derivación en el enlace de arriba... es largo porque supone muy poco álgebra avanzada - pero parece que eso es lo que pides.
