No sé si la siguiente respuesta es la mejor, pero sí muestra que la $x = y = z = 1/3$ no es la solución óptima.
Deje $f(x,y,z) = x^5y +y^5z+z^5x$ ser la función objetivo. El problema es equivalente a minimizar la función de Lagrange
$$ L = -f(x,y,z) -\mu_1x-\mu_2y- \mu_3z + \lambda(x+y+z-1),$$ where $\mu_1, \mu_2, \mu_3$ and $\lambda$ son multiplicadores de Lagrange. Los puntos estacionarios satisfacer el sistema polinomial
$$ \lambda = \mu_1 + 5x^4y +z^5$$
$$ \lambda = \mu_2 + 5y^4z +x^5 $$
$$ \lambda = \mu_3 + 5z^4x + y^5 $$
$$ x + y + z =1$$
$$ \mu_1x = 0 $$
$$ \mu_2y = 0 $$
$$ \mu_3z = 0 .$$
$$ \mu_1 \geq 0,\mu_2 \geq 0,\mu_3 \geq 0$$
Ahora, tenemos que evaluar todos los posibles casos para los multiplicadores $\mu_1, \mu_2$, e $\mu_3.$
Caso (1): $\mu_1, \mu_2$, y $\mu_3$ son positivos
En ese caso el sistema no tiene solución (las tres últimas ecuaciones conducen a $x=y=z=0$, la no satisfacción de la igualdad de restricción).
Caso (2): en la mayoría de un multiplicador es igual a cero
No hay ninguna solución, como todos los multiplicadores son no negativos. En efecto, asumiendo $\mu_1 = 0$, $(x,y,z) = (1,0,0) \implies \lambda =0.$ por lo tanto, $\mu_2 = -1$. Del mismo modo, $\mu_2 = 0 \implies \mu_3 = -1$ o $\mu_3 = 0 \implies \mu_1 = -1$.
Caso (3): en la mayoría de los dos multiplicadores son cero
El conjunto de soluciones $$(x,y,z) = \{(5/6,1/6,0),(1/6,0, 5/6),(0,5/6,1/6)\},$$
para $\lambda \approx 0.4019$ en todas las soluciones, y
$$(\mu_1,\mu_2,\mu_3) = \{(0,0, 0.4017),(0,0.4017, 0),(0.4017,0,0)\}.$$ The objective is $f(x,y,z) \aprox 0.067.$
Caso (4): todos los multiplicadores son cero
En este caso, tenemos que resolver el siguiente sistema de
$$ 5x^4y + z^5 = 5y^4z + x^5$$
$$ 5z^4x +y^5 = 5y^4z + x^5 $$
$$x +y +z =1, $ $ , que parece no ser tan simple. Una idea es calcular un Grobner base con el fin de simplificar el sistema para hacer frente univariante polinomios. Consulte la base calculada con WolframAlpha aquí.
Sin embargo,he calculado las soluciones del sistema con el comando resolver de Matlab. Esto da un total de $25$ soluciones, pero sólo cuatro son reales y no negativos. Las soluciones dadas por los problemas son
$$(x,y,z) = \{(1/3,1/3,1/3), (0.3631,0.5426,0.0943), (0.5426,0.0943, 0.3631), (0.0943, 0.3631, 0.5426)\}.$$
Por la primera solución, el objetivo es $f(x,y,z) \approx 0.0041$. Las otras tres soluciones de dar el valor de $f(x,y,z) \approx 0.0079$.
Por lo tanto, la solución óptima se encuentra en el caso (3).