Si sabes algo de cálculo, probablemente lo más fácil sea expandir toda la ecuación (escribiendo $\sqrt{x^2+b^2}$ como $(x^2+b^2)^{1/2}$ podría ayudar también, ya que es más fácil aplicar entonces las reglas de diferenciación).
\begin{align*} f(x)&=2(a-x)(x+\sqrt{x^2+b^2})\\ &=2ax+2a(x^2+b^2)^{1/2}-x^2-x(x^2+b^2)^{1/2}\\ \end{align*}
Ahora encuentra la primera derivada $f'(x)$ y ponlo a cero para encontrar tu punto crítico (o punto de inflexión) $x_0$ .
Una vez que haya resuelto $f'(x)=0$ , tendrá que diferenciar una vez más para obtener $f''(x)$ e investigar su punto de inflexión. En resumen
Prueba de la primera derivada
Supongamos que $f'(x_0) = 0$ .
Caso $\{+,-\}$ Si $f'$ es positivo a la izquierda de $x_0$ y negativo a la derecha de $x_0$ entonces $f$ tiene un máximo relativo en $x_0$ .
Caso $\{-,+\}$ Si $f'$ es negativo a la izquierda de $x_0$ y positivo a la derecha de $x_0$ entonces $f$ tiene un mínimo relativo en $x_0$ .
Caso $\{+,+\}$ y $\{-,-\}$ Si $f'$ tiene el mismo signo en los intervalos abiertos alrededor de $x_0$ entonces $f$ no tiene ni un mínimo ni un máximo relativo en $x_0$ .
Prueba de la segunda derivada para los extremos relativos
Supongamos que $f'(x_0) = 0$ y que $f''(x_0)$ existe. Entonces:
(i) si $f''(x_0)<0$ entonces $f$ tiene un máximo relativo en $x_0$ ;
(ii) si $f''(x_0)>0$ entonces $f$ tiene un mínimo relativo en $x_0$ ;
(iii) si $f''(x_0)=0$ entonces $x_0$ puede ser un máximo relativo, un mínimo relativo o un punto de equilibrio.