Creo que has cometido un error en sus cálculos como hice la aritmética con mi CAS. Sin embargo, si hacemos las sustituciones
$$\begin{align}
a &= 2 \cos t + \frac{2}{\sqrt{3}} \sin t = \frac{4}{\sqrt{3}} \sin(t+\frac{\pi}{3}) \\
b &= 2 \cos t - \frac{2}{\sqrt{3}} \sin t = \frac{4}{\sqrt{3}} \sin(t+\frac{2\pi}{3})
\end{align}$$
a continuación, la restricción de la ecuación
$$a^2+b^2-ab=4$$
va a ser satisfecho de forma idéntica $4=4$. También, para satisfacer $a \gt 0$ $b \gt 0$ requerimos que
$$\begin{cases}
0 \lt t+\frac{\pi}{3} \lt \pi \\
0 \lt t+\frac{2\pi}{3} \lt \pi
\end{casos}
\a
\begin{cases}
-\frac{\pi}{3} \lt t \lt \frac{2\pi}{3} \\
-\frac{2\pi}{3} \lt t \lt \frac{\pi}{3}
\end{casos}
\a
-\frac{\pi}{3} \lt t \lt \frac{\pi}{3}$$
Así, queda a trabajar en $f(a,b)=2a+b- 3ab$. Ahora, si hacemos la sustitución en $f(a,b)$ lo vamos a conseguir
$$\begin{align}g(t) &= f(a(t),b(t)) \\
&=\frac{2}{\sqrt{3}}\sin t + 6 \cos t - 16 \cos^2 t +4 \\
\end{align}$$
Por último, podemos utilizar cualquier método de cálculo para encontrar el Máximo y el Mínimo de esta función continua en el intervalo $(-\frac{\pi}{3},\frac{\pi}{3})$. Por lo que el intervalo de $f(a,b)$ con las restricciones en $a$ $b$ serán obtenidos. De hecho, acabamos de reducción restringido multi-variable problema de optimización a un habitual de una sola variable problema de optimización en el cálculo.