Aquí presento una prueba de geometría de coordenadas bastante elaborada. (¡Me gustaría ver una forma más sencilla de hacerlo!)
Tomemos la elipse con excentricidad $\varepsilon\in(0,1)$ y el semilatus rectum $p$ para tener la ecuación polar
$$r=\frac{p}{1-\varepsilon\cos\,\theta}$$
tal que uno de los focos de la elipse está en el origen, y el círculo cuyo diámetro es el latus rectum tiene la ecuación $r=p$ . A partir de esta configuración, encontramos que el círculo asociado correspondiente al foco en el origen tiene su centro en $\left(\dfrac{p}{2}\left(1-\dfrac1{1+\varepsilon}\right),0\right)$ y un radio de $\dfrac{p}{2}\left(1+\dfrac1{1+\varepsilon}\right)$ .
Sea una cuerda focal correspondiente al foco en el origen con un ángulo $\varphi$ del eje horizontal. Encontramos que la línea $\theta=\varphi$ interseca la elipse en los valores del ángulo $\theta=\varphi$ y $\theta=\varphi+\pi$ correspondiente a los puntos
$$\left(\frac{\pm p\cos\,\varphi}{1\mp\varepsilon\cos\varphi},\frac{\pm p\sin\,\varphi}{1\mp\varepsilon\cos\,\varphi}\right)$$
(Agradezco Azul por señalar esta simplificación; la versión anterior de esta respuesta tomaba un camino más tortuoso).
El círculo cuyo diámetro es el segmento que une estos dos puntos tiene su centro en $\left(\dfrac{\varepsilon p\,\cos^2\varphi}{1-(\varepsilon\cos\,\varphi)^2},\dfrac{\varepsilon p\cos\,\varphi\sin\,\varphi}{1-(\varepsilon\cos\,\varphi)^2}\right)$ y un radio de $\dfrac{p}{1-(\varepsilon\cos\,\varphi)^2}$ . Para comprobar que esta circunferencia es tangente a la circunferencia asociada, encontramos la línea radical de estas dos circunferencias (que coincide con la recta tangente común de dos circunferencias tangentes); encontramos que la ecuación de la recta radical es
$$p\left(\frac{2\varepsilon}{\sec^2\varphi-\varepsilon^2}+\frac1{1+\varepsilon}-1\right)x+\frac{2 \varepsilon p \tan\,\varphi}{\sec^2\varphi-\varepsilon^2}y+\frac{\varepsilon p^2 (\varepsilon+\sec^2\varphi)}{(1+\varepsilon)(\sec^2\varphi-\varepsilon^2)}=0$$
El punto de tangencia se encuentra entonces en
$$\left(\frac{p(\tan^2\varphi-\varepsilon-1)}{(\varepsilon+1)^2+\tan^2\varphi},-\frac{p(\varepsilon+2)\tan\,\varphi}{(\varepsilon+1)^2+\tan^2\varphi}\right)$$
La comprobación de que la recta perpendicular a la radical en el punto de tangencia pasa por el centro de la circunferencia asociada te la dejo a ti.
Aquí hay una Mathematica demostración:
With[{p = 1, e = 1/Sqrt[2], n = 31},
Animate[PolarPlot[{p/(1 - e*Cos[t]), p}, {t, -Pi, Pi},
Epilog -> {{Green,
Circle[{(p/2)*(1 - 1/(1 + e)), 0},
(p/2)*(1 + 1/(1 + e))]},
{Red,
Circle[{(e*p*Cos[th]^2)/(1 - (e*Cos[th])^2),
(e*p*Cos[th]*Sin[th])/(1 - (e*Cos[th])^2)},
p/(1 - (e*Cos[th])^2)],
Line[{{p*Cos[th]/(1 - e*Cos[th]),
p*Sin[th]/(1 - e*Cos[th])},
{-p*Cos[th]/(1 + e*Cos[th]),
-p*Sin[th]/(1 + e*Cos[th])}}]}},
Frame -> True], {th, 0, 2 Pi, 2 Pi/(n - 1)}]]
Aquí hay una versión parabólica:
Es necesario hacer algunos ajustes en el código anterior para manejar el caso hiperbólico e > 1
Lo dejaré como ejercicio para el lector.