Utilizaré sin prueba algunos factores sobre operadores en espacios de Hilbert y sus adjuntos. Las pruebas se pueden encontrar en el libro al que se hace referencia en la pregunta.
En primer lugar, es cierto que $\|A\|^2=\|A^*A\|$ . Esto es útil porque $A^*A$ es autoadjunto, por lo que podemos utilizar una caracterización especial de la norma del operador que sólo se aplica a los operadores autoadjuntos. Tenemos $\langle Ah, h\rangle \subset \mathbb R$ para todos $h\in\mathbb C^2$ y
$$\|A^*A\|=\sup\{ |\langle Ah, h \rangle|: \|h\|=1\}.$$
Recordemos que $A^*A$ es autoadjunta, por lo que es diagonalizable, y tiene una base de vectores propios $v_1$ y $v_2$ . Entonces cualquier $h$ y una combinación lineal de múltiplos de $v_1$ y $v_2$ y utilizando la caracterización de la norma anterior y la linealidad del producto interior, el problema se reduce a encontrar el mayor valor propio de $A^*A$ como señaló Robert Israel.
A continuación, puede encontrar el valor propio de la forma habitual formando el polinomio característico, resolviéndolo mediante la ecuación cuadrática y tomando la raíz mayor. Esto explica por qué la fórmula dada en el enunciado del problema se parece a la fórmula cuadrática.
Este mismo método también permite derivar fórmulas para las normas de $3\times 3$ y $4\times 4$ pero no para las matrices $n\times n$ matrices con $n\ge 5$ (porque no existe una fórmula para la solución de un problema general de $n$ ecuación de grado con $n\ge 5$ ).