Nota: : Según el comentario de @achille hui $x^4 + 2\sqrt{5}x^3 + 3x^2 - 2\sqrt{5}x + 1 = (x^2 + \sqrt{5}\, x - 1)^2$ damos la siguiente solución:
Dejemos que $f(x) = x^4 + ax^3 + 3x^2 + bx + 1$ .
Dato 1 : Si $f(x)\ge 0$ para todos $x\in \mathbb{R}$ , entonces $a^2 + b^2 \le 40$ .
(La prueba se da al final).
Por el hecho 1, tenemos $a^2 + b^2 \le 40$ . Por otro lado, si $a = 2\sqrt{5}, ~ b = -2\sqrt5$ con $a^2 + b^2 = 40$ tenemos $x^4 + 2\sqrt{5}\, x^3 + 3x^2 - 2\sqrt{5}\, x + 1 = (x^2 + \sqrt{5}x - 1)^2 \ge 0$ para todos $x\in \mathbb{R}$ .
Así, el máximo de $a^2 + b^2$ est $40$ .
Hemos terminado.
Prueba del hecho 1 : Nos dividimos en dos casos:
Caso 1 : Si $ab \ge 0$ ya que $f(1) = a + b + 5 \ge 0$ y $f(-1) = - (a + b) + 5 \ge 0$ tenemos $-5 \le a + b \le 5$ y por lo tanto $a^2 + b^2 \le (a + b)^2 \le 25 < 40$ .
Caso 2 : Si $ab < 0$ WLOG, suponga que $a > 0, ~ b < 0$ (por lo demás, $a \to -a, ~ b \to -b, ~ x \to - x$ ).
Dejemos que $x_1 = \frac{-\sqrt5 + 3}{2} > 0$ y $x_2 = \frac{-\sqrt5 - 3}{2} < 0$ .
( Nota : $x_1$ y $x_2$ son las raíces de $x^2 + \sqrt{5}\, x - 1 = 0$ . Ver el comentario de @achille hui).
Desde $f(x_1)\ge 0$ tenemos $$b \ge -x_1^3 - ax_1^2 - 3x_1 - \frac{1}{x_1}. \tag{1}$$
Desde $f(x_2)\ge 0$ tenemos $$b \le -x_2^3 - ax_2^2 - 3x_2 - \frac{1}{x_2}. \tag{2}$$
A partir de (1) y (2), tenemos $$-x_1^3 - ax_1^2 - 3x_1 - \frac{1}{x_1} \le -x_2^3 - ax_2^2 - 3x_2 - \frac{1}{x_2}$$ lo que resulta en ( Nota: : $x_1 + x_2 = -\sqrt5, x_1x_2 = -1, x_1 - x_2 = 3$ ) $$a \le \frac{x_1^3 - x_2^3 + 3x_1 - 3x_2 + \frac{1}{x_1} - \frac{1}{x_2}}{x_2^2 - x_1^2} = \frac{x_1^2 + x_1x_2 + x_2^2 + 3 - \frac{1}{x_1x_2}}{-(x_1 + x_2)} = 2\sqrt{5}.$$
Entonces, utilizando $-x_1^3 - ax_1^2 - 3x_1 - \frac{1}{x_1} \le b < 0$ y $0 < a \le 2\sqrt5$ tenemos \begin{align*} a^2 + b^2 &\le a^2 + \left(-x_1^3 - ax_1^2 - 3x_1 - \frac{1}{x_1}\right)^2\\ &\le (2\sqrt{5})^2 + \left(x_1^3 + 2\sqrt{5}\cdot x_1^2 + 3x_1 + \frac{1}{x_1}\right)^2\\ &= 40. \end{align*} Nota : En este caso, podemos utilizar $x_1^2 + \sqrt{5}\, x_1 - 1 = 0$ para reducir los cálculos. Por ejemplo, $x_1^3 = -\sqrt{5}\, x_1^2 + x_1$ .
Hemos terminado.