Considere una situación similar:
Maximizar $f(x)$ equivale a minimizar $-f(x)$ .
Como Michael Hardy mencionado en el comentario, es fácil ver que como $f(x)$ se hace más grande, $-f(x)$ se hace más pequeño. Lo mismo podemos decir de la reciprocidad:
Maximizar $\displaystyle\frac 1{\Vert x \Vert}$ equivale a minimizar $\Vert x \Vert$ .
Mover, $\Vert x\Vert^2$ es una función creciente de $\Vert x\Vert$ ; cuando $\Vert x\Vert$ aumenta, $\Vert x\Vert^2$ también aumenta; por lo tanto
Minimizar $\Vert x \Vert$ equivale a minimizar $\Vert x \Vert^2$ .
Combinando los resultados anteriores, llegamos a la conclusión
Maximizar $\displaystyle\frac 1{\Vert x \Vert}$ equivale a minimizar $\Vert x \Vert^2$ .
Tienes razón sobre la razón por la que elegimos minimizar $\Vert x \Vert^2$ se comporta mejor en torno a cero, es decir, es diferenciable, y la primera y segunda derivadas son importantes para los problemas de optimización.