Deje que $0\lt x\le y\le z\lt\pi$ sean los tres semiangulos del triángulo, con $x+y+z=\pi$. Entonces, con el comentario de @Gribouillis, la condición $ac\gt b^2$ se traduce a
$$ \sin x\sin z\gt\sin^2y $$
y así, con $\sin z=\sin(\pi-x-y)=\sin(x+y)$, se tiene
$$ \sin x\sin(x+y)\gt\sin^2 y\;. $$
Aplicando el teorema de la suma se tiene
$$ \sin x(\sin x\cos y+\cos x\sin y)\gt\sin^2y\;. $$
Para resolver por $x$, aíslase $\cos x$,
$$ \cos x\gt\frac{\sin y}{\sin x}-\frac{\sin x}{\sin y}\cos y\;, $$
se eleva al cuadrado,
$$ \cos^2 x\gt\frac{\sin^2 y}{\sin^2 x}+\frac{\sin^2 x}{\sin^2 y}\cos^2y-2\cos y\;, $$
se utiliza $\sin^2x+\cos^2x=1$ y $\sin^2y+\cos^2y=1$ y se simplifica:
$$ 1+2\cos y\gt\frac{\sin^2 y}{\sin^2 x}+\frac{\sin^2 x}{\sin^2 y}\;. $$
Esta es una desigualdad cuadrática para $\frac{\sin^2 x}{\sin^2 y}$, y la rama de solución relevante en nuestro caso es
$$ \frac{\sin^2 x}{\sin^2 y}\gt\frac12+\cos y-\sqrt{\left(\frac12+\cos y\right)^2-1}\;. $$
Así, el límite para $x$ como función de $y$ es
$$ x\gt f(y):=\arcsin\left(\sin y\sqrt{\frac12+\cos y-\sqrt{\left(\frac12+\cos y\right)^2-1}}\right)\;. $$
El rango para $x$ es $0\lt x\le y$ si $y\le\frac\pi3$ y $0\lt x\le1-2y$ si $\frac\pi3\le y\lt\frac\pi2$. En este último caso, nunca tenemos $ac\gt b^2$, así que la probabilidad deseada es
\begin{eqnarray*} 1-\frac{\int_0^\frac\pi3f(y)\mathrm dy+\int_\frac\pi3^\frac\pi2(1-2y)\mathrm dy}{\int_0^\frac\pi3y\mathrm dy+\int_\frac\pi3^\frac\pi2(1-2y)\mathrm dy} &=& 1-\frac{\int_0^\frac\pi3f(y)\mathrm dy+\frac{\pi^2}{36}}{\frac{\pi^2}{18}+\frac{\pi^2}{36}} \\ &=&\frac23-\frac{12}{\pi^2}\int_0^\frac\pi3f(y)\mathrm dy\;. \end{eqnarray*}
Esto es $\frac15$ si tenemos
\begin{eqnarray*} \int_0^\frac\pi3f(y)\mathrm dy &=& \frac7{180}\pi^2 \\ &\approx& 0.383817948931253\;, \end{eqnarray*}
y de hecho eso es lo que una integración numérica de Wolfram|Alpha a $15$ lugares decimales arroja.
No he podido resolver la integral analíticamente, pero en cualquier caso, este es un enfoque muy poco elegante: un resultado simple como $\frac15$ para una probabilidad geométrica suele tener una explicación agradable basada en la simetría. Esperaba que alguien pudiera demostrar que exactamente $2$ de los $10$ triángulos formados por $5$ puntos cumplen la condición, pero esto está lejos de ser el caso; ese número varía entre $0$ y $5$. Aún así, no me sorprendería si alguien encuentra una solución elegante.