En primer lugar, la propuesta de la desigualdad es totalmente equivocado. En efecto, considerar la posibilidad de
$$f : [-1, 1] \to \mathbb{R}, f(x) = 18 |x|^{13/5} - 11 |x|^{6/5}$$
(por lo $a = -1, b = 1$.) Claramente $f$ tiene una primera derivada continua, y es sencillo comprobar que
$$\renewcommand{\intd}{\,\mathrm{d}} \int_{-1}^1 f(x) \intd x = 0 = f(0)$$
mientras que $$A = \int_{-1}^1 \big(f'(x)\big)^2 \intd x - 2\big(f(-1) + f(1)\big)^2 = \frac{608}{35} \approx 17.37$$
y $$B = 2 \int_{-1}^1 \big(f(x)\big)^2 \intd x = \frac{11270}{527} \approx 21.385$$
Así, la propuesta de la desigualdad que está mal.
Una Familia de Posibles Correcciones.
Considere una función de $f : [-1, 1] \to \mathbb{R}$ tal que
$$\int_{-1}^1 f(x) \intd x = 0 = f(0)$$
Tenga en cuenta que
$$\renewcommand{\defeq}{~{\buildrel{\rm def}\over =}~}
\newcommand{\sgn}{\mathrm{sgn}}
Un \defeq f(1) + f(-1) = \int_{-1}^1 \sgn(x) f'(x) \intd x$$
Deje $\lambda$ ser una constante real. Ahora tenemos
$$\int_{-1}^1 \big(f(x) - \lambda A\big)^2 \intd x = \int_{-1}^1 \big(f(x)\big)^2 \intd x + \lambda^2 A^2 \tag{1}$$
debido a $\int_{-1}^1 f(x) \intd x = 0$. En el otro lado
$$f(x) - \lambda A = \int_0^x f'(t) \intd t - \lambda \int_{-1}^1 \sgn(t) f'(t) \intd t = \int_{-1}^1 K(x,t) f'(t) \intd t$$
donde $K(x,t)$ se define como sigue:
- Si $x\geq 0$, $$K(x,t) = \begin{cases}
\lambda & t \leq 0 \\
1 - \lambda & 0 < t \leq x \\
-\lambda & x < t \leq 1
\end{casos}$$
- Si $x< 0$, $$K(x,t) = \begin{cases}
\lambda & t \leq x \\
\lambda - 1 & x < t \leq 0 \\
-\lambda & 0 < t
\end{casos}$$
Por lo tanto, el uso de Cauchy-Schwarz desigualdad,
$$\big(f(x) - \lambda A\big)^2 \leq \int_{-1}^1 \big(K(x,t)\big)^2 \intd t \int_{-1}^1 \big(f'(t)\big)^2 \intd t$$
Así,
$$\int_{-1}^1 \big(f(x) - \lambda A\big)^2 \intd x \leq \int_{-1}^1 \left(\int_{-1}^1 \big(K(x,t)\big)^2 \intd t\right) \intd x \cdot \int_{-1}^1 \big(f'(t)\big)^2 \intd t$$
Los cálculos no son difíciles y tenemos
$$\int_{-1}^1 \left(\int_{-1}^1 \big(K(x,t)\big)^2 \intd t\right) \intd x = 1 - 2 \lambda + 4 \lambda^2$$
Que es
$$\int_{-1}^1 \big(f(x) - \lambda A)^2 \intd x \leq (1 - 2 \lambda + 4 \lambda^2) \cdot \int_{-1}^1 \big(f'(t)\big)^2 \intd t \tag{2}$$
La combinación de $(1)$$(2)$, finalmente,
$$
\int_{-1}^1 \big(f(x)\big)^2 \intd x + \lambda^2 \big(f(1) + f(-1)\big)^2 \leq (1 - 2 \lambda + 4 \lambda^2) \cdot \int_{-1}^1 \big(f'(t)\big)^2 \intd t \etiqueta{3}
$$
Por ejemplo, si $\lambda = 1/4$, obtenemos
$$\int_{-1}^1 \big(f(x)\big)^2 \intd x + \frac{1}{16}\big(f(1) + f(-1)\big)^2 \leq \frac{3}{4} \cdot \int_{-1}^1 \big(f'(t)\big)^2 \intd t$$
Observación. El caso de una función de $f : [a, b] \to \mathbb{R}$ se obtiene aplicando el caso anterior a $g(x) = f\left(\frac{a + b}{2} + x \frac{b-a}{2}\right)$.
Observación. De hecho, hay una forma más sutil razón por la que la propuesta de la desigualdad no puede ser cierto. Considerar para $a < b$ y una función de $f$ continuo con derivados en $[a,b]$ la cantidad
$$\Delta(a, b; f) = \int_a^b \big(f'(x)\big)^2 \intd x - 2 (f(a) + f(b))^2 - \frac{8}{(b-a)^2} \int_a^b \big(f(x)\big)^2 \intd x$$
Ahora, para $\lambda > 0$ $f : [a,b] \to \mathbb{R}$ definimos $f_\lambda$
la función definida en $\left[\frac{a}{\lambda}, \frac{b}{\lambda}\right]$ por
$f_\lambda(x)=f(\lambda x)$.
Con esta notación tenemos
$$\Delta\left(\frac{a}{\lambda}, \frac{b}{\lambda}; f_\lambda\right) = \lambda \Delta(a, b; f) + 2 (\lambda - 1) \big(f(a) + f(b)\big)^2$$
Por lo tanto, si $f(a) + f(b) \ne 0$, siempre hay $\lambda, \Lambda > 0$ donde la desigualdad se cumple para $f_\lambda$ y no se sostiene por $f_\Lambda$.