¿Has considerado encontrar las intersecciones utilizando una forma implícita para los círculos? $$\frac{x^2}{r^2} + \frac{y^2}{r^2} + ax + by + c = 0?$$ Esta representación no tiene coeficientes que diverjan cuando el círculo se acerca a una línea recta. Para encontrar las intersecciones, tendrás que resolver una ecuación cuadrática cuyo coeficiente principal podría ser cero o estar arbitrariamente cerca de él, pero la forma alternativa de la fórmula cuadrática debería ser capaz de afrontarlo con solidez.
A continuación, tendrás que hacer algunas operaciones para averiguar si los puntos de intersección se encuentran dentro de los arcos. Si el ángulo de curvatura del arco es menor que $\pi$ Basta con una proyección sobre la línea que une los puntos extremos.
(Aclaración: aunque todo esto parece que debería funcionar, no lo he analizado con detalle. Además, todavía podría haber un problema cuando el círculo está cerca de una línea y quieres que el más largo arco. Pero no me imagino que sea un caso que aparezca en ninguna aplicación práctica).
Actualización: Para un ejemplo concreto, he aquí la ecuación de un arco de círculo que pasa por los tres puntos $(0,0)$ , $(0.5, h)$ y $(1,0)$ : $$\kappa^2 x^2 + \kappa^2 y^2 - \kappa^2 x - 2\eta y = 0,$$ donde $$\begin{align}\kappa &= \frac{8h}{4h^2 + 1}, \\ \eta &= \frac{8h(4h^2-1)}{(4h^2+1)^2}.\end{align}$$ Como se puede ver, los coeficientes permanecen acotados como $h \to 0$ .
Actualización 2: Espera, esa ecuación se vuelve trivial si $h = 0$ lo cual es malo. Realmente queremos algo como $x^2/r + y^2/r + ax + by + c,$ es decir, multiplicar la expresión anterior por $r$ . Entonces, para el mismo ejemplo, nuestra ecuación se convierte en $$\kappa x^2 + \kappa y^2 - \kappa x - 2\eta' y = 0,$$ donde $\eta' = (4h^2-1)/(4h^2+1)$ . Estos son algunos valores explícitos.
$h = 1/2$ : $$2 x^2 + 2 y^2 - 2 x = 0,$$ $h = 0.01$ : $$0.07997 x^2 + 0.07997 y^2 - 0.07997 x + 1.998 y = 0,$$ $h = 0$ : $$2 y = 0.$$
Por cierto, en este formato, los términos lineales serán siempre simplemente $-2(x_0/r)x$ y $-2(y_0/r)y$ donde el centro del círculo está en $(x_0,y_0)$ . Como el centro va al infinito pero los puntos extremos permanecen fijos, estos coeficientes permanecen acotados y no nulos (es decir, no son ambos nulos).