La razón por la que el máximo de $x^T M x$ (creo que quiso decir "sobre el conjunto de la $x$'s tal que $\|x\|_2 = 1$", porque si no añadir que la condición de su máximo no está definido) es el mayor autovalor de a $M$ es debido a que cualquier plaza real, la matriz puede ser factorizado como
$$
M = Q_1^T D Q_2
$$
donde $Q_1$ $Q_2$ son ortogonales y $D$ es una matriz diagonal que contiene los autovalores de a $A$ en su diagonal. Al $M$ es simétrica, tenemos $Q_1 = Q_2 = Q$, lo que
$$
x^T M x = x^T Q^T D P x = (Qx)^T D (Qx)
$$
y desde $Q$ es ortogonal, no sólo es invertible, sino que también preserva distancias, por lo que
$$
\max_{\|x\| = 1} x^T M x = \max_{\| x \| = 1} (Qx)^T D (Qx) = \max_{\|x\| = 1} x^T D x.
$$
Ahora, yo creo que usted dijo que usted sabía que el mayor autovalor de a $A$ fue este máximo, así que supongo que usted entienda cómo calcular este último máximo para ser el mayor autovalor de a $M$ (es un simple multiplicador de Lagrange argumento que le da ese extremums se logra en donde los $x$ es un autovector de a $D$.)
Ahora si $M$ no es simétrica, ninguna de estas cosas se aplican porque las cosas comenzaron a verse mejor cuando asumí $Q_1 = Q_2 = Q$. Pero se puede mostrar que
$$
\M |\|_2 = \sqrt{ \rho(M^T M) }
$$
donde $\rho( M^T M)$ es la norma espectral de $M$, es decir, $\rho(M^TM)$ es el mayor autovalor (en valor absoluto) de $M^TM$. Al $M$ es simétrica, $M^T = M$ y el espectro de la norma es simplemente el cuadrado de la mayor autovalor de a $M$, por lo que sabemos que todavía funciona. Pero en general los eigen valores de $M^T M$ no son los cuadrados de los valores propios de a $M$ porque $M^T$ $M$ no tienen los mismos vectores propios si $M$ no es simétrico, por lo que los mismos argumentos no se aplican en general.
Tomemos como ejemplo
$$
M =
\begin{bmatrix}
0 & 2 \\
1 & 0 \\
\end{bmatrix}.
$$
Usted puede ver fácilmente que su polinomio característico es sólo $\lambda^2 - 2$, por lo que sus valores propios son $\pm \sqrt 2$. Pero si se utiliza la fórmula anterior,
$$
M^T M =
\begin{bmatrix}
4 & 0 \\
0 & 1 \\
\end{bmatrix}.
$$
Por lo tanto, el mayor autovalor de a$M^T M$$4$, por lo tanto $\|M \| = 2 > \sqrt 2, -\sqrt 2$. Tal vez eso era más convincente.
Espero que ayude,