Supongamos que $n$ solo tiene componente $y$. Dado que $V_i$ y $n$ son linealmente independientes, $V_{i+1}$ se puede escribir como su combinación lineal. Tenga en cuenta que todos los $V_i$ y $n$ son vectores unitarios. (cada vez que vea el nombre de Pitágoras, eche un vistazo a la ecuación siguiente, notará que en un momento asumí que todos son vectores unitarios. No pude evitar hacer eso sin arruinar toda la derivación, así que $V_i^TV_i$ en la expresión original simplemente debe ser igual a $1$. Me sorprende que no se haya eliminado eso en el libro, así que si alguien ve cómo se puede hacer sin asumir los vectores unitarios, me gustaría saberlo.)
Primero escribes $V_{i+1,x}=a_{i+1}V_{i,x}$, a partir de aquí $a_{i+1}$ tiene que ser lo que se indica en la pregunta.
Luego tomas (2), que es la combinación lineal mencionada, y solo consideras $V_{i+1,y}$. Es decir, $a_{i+1}V_{i,y}+b_{i+1}$. Dado que $n$ es un vector unitario con solo componente $y$, $V_{i,y}=V_i^Tn$. Además, $V_{i+1,y}=-\sqrt{1-V_{i+1,x}^2}$ según Pitágoras. El signo menos es solo convención, debería haber una imagen en algún lugar en un libro que aclare eso.
Ya expresamos $V_{i+1,x}=a_{i+1}V_{i,x}$, así que $V_{i+1,y}=-\sqrt{1-a_{i+1}^2V_{i,x}^2}=a_{i+1}V_i^Tn+b_{i+1}.
Ahora $V_{i,x}^2=V_i^TV_i-(V_i^Tn)^2$, nuevamente según Pitágoras. Esto deja $-\sqrt{1-a_{i+1}^2(V_i^TV_i-(V_i^Tn)^2)}=a_{i+1}V_i^Tn+b_{i+1}.
$b_{i+1}=-a_{i+1}V_i^Tn-\sqrt{1-a_{i+1}^2(V_i^TV_i-(V_i^Tn)^2)}$ lo que da la expresión requerida después de poner $a_{i+1}=\mu_i/\mu_{i+1}$