Siempre puedes encontrar soluciones $(a,b)$ que den valores más pequeños de $S$.
Considera las soluciones de la ecuación $x^2-21y^2=1$, $(x_1,y_1)=(55,12),(x_2,y_2)=(6049,1320)$ se pueden generar soluciones a partir de $(x_3,y_3)$ usando las soluciones a la solución recursiva $$x_{k+1}=x_1x_k+21y_1y_k\\y_{k+1}=x_1y_k+y_1x_k$$ Las soluciones que satisfacen $3a^2-7b^2=3$ están dadas por $(a_i,b_i)=(x_i,3y_i)$
También podemos escribir $(a,b)$ como $(\sec t, \sqrt\frac{3} {7}\tan t)$. Sustituye esto en la expresión de $S$. $$S=(\sqrt{3}\sec t-\sqrt{7}\sqrt\frac{3} {7}\tan t)(\sec t+\sqrt\frac{3} {7}\tan t)\\ =\sqrt3(\sec t-\tan t)(\sec t+\sqrt\frac{3} {7}\tan t)$$
Ahora, en el mínimo global debemos tener $dS/dt = 0$. Calculamos la derivada y obtenemos $$\frac{dS}{dt}=\frac{\sqrt3}7(\sqrt{21}-1)\sec t(\sec t - \tan t)^2=0 \\ \implies \sec t - \tan t=0.$$ Las soluciones a esto se encuentran en $t=\frac{\pi}2+2n\pi$. En estos puntos $(a,b)=(\infty, \infty)$, por lo tanto no hay un límite superior en las soluciones enteras.
0 votos
Creo que si consideramos $S$ como un polinomio con $b$ como un coeficiente y $a$ como una variable. Obtenemos una ecuación cuadrática y luego, al intentar encontrar su valor mínimo, obtenemos nuevamente solo una ecuación cuadrática. Pero no sé si esta aproximación es verdadera o no.