No es una respuesta, sólo un comentario largo. Este comentario evolucionado lentamente en un parcial numérica de la solución: el pentágono regular es el máximo local.
He usado Arce para producir la fórmula para $\frac{S'}{S}$ y el resultado es una función racional en $\mathbb{R}^{10}$ con ambos, numerador y denominador de grado 12. El numerador tiene 11495 monomio términos, mientras que el denominador se tiene en cuenta el producto de seis grados de dos polinomios. Esto significa que la simetría del problema es perdido de alguna manera durante el cálculo y por lo tanto uno debe ser un poco cuidadoso al usar este tipo de programas.
Sin embargo, la restricción del pentágono para tener el primer lado de la $x$-ejes puedo obtener numerador que factorizes como producto de $x_2$ y un polinomio con 182 monomials. Mientras que la solución analítica es todavía más probablemente fuera de la cuestión, puede ser posible el uso de esta para experimentos numéricos.
Por ejemplo, trabajando en $\mathbb{R}^{10}$, pude verificar que el pentágono regular es un punto fijo. Para mi sorpresa, Arce calcula los autovalores de Hesse en este punto analíticamente. Cuatro de los autovalores son negativos, pero, por desgracia, hay seis valores propios que son numéricamente cero ($\approx 10^{-9}$).
Creo que podría ser posible "probar" de esta manera que el pentágono regular es un máximo local. Voy a intentarlo de nuevo mañana.
Edit: permítanme resumir los comentarios hasta ahora.
Como David Speyer mencionado, todos los pentágonos son affinely congruente a aquellos cuyos vértices se encuentra en una cónica. Si uno utiliza el racional parametrización del círculo $t \to \left(\frac{t}{1+t^2}, \frac{1-t^2}{1+t^2}\right)$, entonces el grado de los polinomios resultantes en el Jacobiano lugar a más de 30. Sin embargo, uno puede factor términos como $t$ o $t^2 + 1$. Por supuesto, todavía podemos arreglar un vértice y, sorprendentemente, no importa (al menos en madera de Arce) que uno. La fijación de $(0,1)$ como un vértice conduce a mejores resultados con grados $(29,29,29,29)$ y el número de monomials $(2348,2754,2754,2348)$. Esto es todavía sin solución (al menos en madera de Arce en mi equipo). Pero no lloréis por al menos podemos calcular el estado de Hesse en el pentágono regular y obtener los autovalores (en este caso sólo numérica, analítica cálculo de tiempo de espera agotado): $-0.174, -0.075, -0.001, -0.003$.
Podemos concluir (si creemos Arce) que el pentágono regular es el máximo local entre "círculo pentágonos".
Dag Oskar Madsen me recordó que yo no uso toda la libertad que tenemos en el problema. A través de la fijación $(0,0), (1,0)$ e $(0,1)$ I obtenido racional en función de cuatro variables con el numerador es de grado 8 con 53 términos y denominador de grado 10 tenerse en cuenta en un producto de 6 términos. Los numeradores de la Jacobiana tiene la siguiente estructura: "Grados:", [16, 16, 15, 15], "Términos:", [637, 633, 424, 510] a partir de la cual vemos que esto resultó en un sistema más pequeño hasta ahora. Por otro lado, ninguna simetría en las ecuaciones fue probablemente destruido y por lo tanto puede ser más difícil de resolver.
La fijación de los vértices $1,2,3$ del pentágono regular con edge $12$ sobre el $x$-eje I verificado que los valores propios de Hesse son de hecho negativo, es decir,$-0.027, -0.012, -0.148, -0.136$. Esto establece numéricamente que el pentágono regular es un máximo local en el conjunto de todos los pentágonos.
He tratado de jugar con la reformulación de Noam D. Elkies y la trate como a una limitada problema de maximización. Que es
$$
S = \frac{1}{2}\left(a + \sqrt{a^2 - 4b}\right) \\
S' = S - a + \sum_{i \text{ mod } 5} \frac{A_{i-2}A_{i+2}}{S-A_i},\\
\text{donde}\\
a = \sum_{i \text{ mod } 5} A_i, \quad b = \sum_{i \text{ mod } 5} A_iA_{i+1}
$$
y $A_i$ es el área del triángulo formado por los tres vértices $P_{i-1}P_iP_{i+1}$. El problema es de maximizar $S'$ en relación al $S=1$.
El sistema de multiplicadores de Lagrange, se reduce a 5 ecuaciones racionales con numeradores de grado 12 con 1544 términos
$$
\frac{\partial L}{\partial a_i} = f_i + \left(\lambda + \sum_{j \text{ mod } 5} \frac{A_{j-2}A_{j+2}}{(1-A_j)^2} \right)g_i =0,
$$
donde
$$
g_i = \frac{1}{2}\left( 1 + \frac{A_i - 4A_{i-1} - 4A_{i+1}}{2}\right)\\
f_i = g_i -1 + \sum_{j \text{ mod } 5} \frac{ (A_{j-2}\delta_{i,j+2} + A_{j+2}\delta_{i,j-2})(1-A_j) - A_{j-2}A_{j+2}(g_i - \delta_{i,j}) }{(1-A_j)^2};
$$
además de la restricción
$$
a - b = 1,
$$
que es cuadrática con once términos.
Animo a todos a probarlo en su CAS de la elección. Me picó la curiosidad sobre el estado actual de la técnica en la base de Groebner y le preguntó a otra pregunta.