Supongamos que $A\in M_{n,p}(\mathbb{R})$ donde $n\leq p$ y $B=[A,v]$ . Entonces, genéricamente, $AA^T$ es invertible (es decir, $A$ es de rango completo y, en consecuencia, $B$ también) con $A^+=A^T(AA^T)^{-1}$ y $BB^T$ es invertible con $B^+=B^T(BB^T)^{-1}$ .
Así $(BB^T)^{-1}=(AA^T+vv^T)^{-1}=$ (Sherman-Morrison) $(AA^T)^{-1}(I-vu)$ donde $u=\dfrac{v^T(AA^T)^{-1}}{1+v^T(AA^T)^{-1}v}$ .
Por último $B^+=\begin{pmatrix}A^T\\v^T\end{pmatrix}(AA^T)^{-1}(I-vu)=\begin{pmatrix}A^+(I-vu)\\u\end{pmatrix}$ .
EDITAR 1. Observación: si $A^+$ y $(AA^T)^{-1}$ son conocidos, entonces el cálculo de la pareja $B^+,(BB^T)^{-1}$ está en $O(pn)$ . Por último, si añadimos $3$ columnas a $A$ entonces el cálculo está en $3$ pasos y la complejidad total vuelve a estar en $O(pn)$ .
EDITAR 2. Respuesta a Vinayak Abrol. Supongamos que $n>p$ , $B=\begin{pmatrix}A\\v\end{pmatrix}$ (añadimos una fila) y que $A$ tiene rango de columna completo; en consecuencia, $B$ tiene rango de columna completo. Entonces $A^+=(A^TA)^{-1}A^T$ y $B^+=(B^TB)^{-1}B^T$ . Entonces $(B^TB)^{-1}=(A^TA+v^Tv)^{-1}$ y aplicamos Sherman-Morrison...
https://en.wikipedia.org/wiki/Sherman%E2%80%93Morrison_formula