La función de la que toman la derivada es
$$ f = \sum_{x,y,z\in \mathbb{N}}\left(\sum_{\alpha\leq \beta} x_\alpha u_{\alpha \beta}x_\beta\right)^2 + \lambda \left(1 - \sum_{\alpha \leq \beta}u_{\alpha\beta}^2\right) \tag{1} $$
Por tanto, el mínimo se encuentra fijando $\partial f/\partial u_{\gamma \delta} = 0$ . Para ello basta con observar que
$$ \frac{\partial u_{\alpha\beta}}{\partial u_{\gamma\delta}} = \delta_{\alpha \gamma}\delta_{\beta\delta} \tag{2} $$
Teniendo esto en cuenta obtenemos
\begin{eqnarray} \frac{\partial f}{\partial u_{\gamma \delta}} &=& 2\sum_{x,y,z\in \mathbb{N}} \left(\sum_{\alpha\leq \beta} x_\alpha u_{\alpha \beta}x_\beta\right) \left(\sum_{\alpha\leq \beta}x_\alpha\color{blue}{\frac{\partial u_{\alpha\beta}}{\partial u_{\gamma \delta}}}x_\beta\right) - 2\lambda\sum_{\alpha \leq \beta}u_{\alpha\beta} \color{red}{\frac{\partial u_{\alpha \beta}}{\partial u_{\gamma \delta}}} \\ &\stackrel{(2)}{=}&2\sum_{x,y,z\in \mathbb{N}} \left(\sum_{\alpha\leq \beta} x_\alpha u_{\alpha \beta}x_\beta\right) \left(\sum_{\alpha\leq \beta}x_\alpha\color{blue}{\delta_{\alpha\gamma}\delta_{\beta\delta}}x_\beta\right) - 2\lambda\sum_{\alpha \leq \beta}u_{\alpha\beta} \color{red}{\delta_{\alpha\gamma}\delta_{\beta\delta}} \\ &=&2\sum_{x,y,z\in \mathbb{N}} \left(\sum_{\alpha\leq \beta} x_\alpha u_{\alpha \beta}x_\beta\right) \left(x_\gamma x_\delta\right) - 2\lambda u_{\gamma \delta} \end{eqnarray}
Reordenando se tiene entonces
$$ \sum_{\alpha \leq \beta}\left(\sum_{x,y,z\in\mathbb{N}} x_\gamma x_\delta x_\alpha x_\beta\right) u_{\alpha\beta} = \lambda u_{\gamma\delta} \tag{3} $$
En cuanto a la segunda pregunta, tenga en cuenta que en $u_{\alpha\beta}$ debe satisfacer $\alpha\leq \beta$ lo que significa que $u_{12}$ está permitido, pero $u_{21}$ no lo es. Si cuentas todas las combinaciones posibles terminas con 10
