Mi intento: he seleccionado dos puntos arbitrarios $(x_e,y_e)$ y $(x_h,y_h)$ y calculé la distancia que digo que es mínima.
$y_e$ puede ser eliminado (expresado en función de $x_e$ ya que el punto está a lo largo de la elipse).
$y_h$ puede ser eliminado (expresado en función de $x_h$ ya que el punto es a lo largo de la hipérbole).
Ahora, quiero que las derivadas de la distancia con respecto a ambos $x_e$ y $x_h$ sea igual a cero. Esto conduce a un terrible sistema de dos ecuaciones para las dos incógnitas $x_e$ y $x_h$ pero, afortunadamente, sólo tenemos que considerar el primer cuadrante debido a la simetría. Además, se pueden descartar las soluciones complejas.
No puedo obtener una solución analítica pero utilizando métodos numéricos, la única solución corresponde a $(1.62723,0.581406)$ a lo largo de la elipse y $(2.39098,1.67296)$ a lo largo de la hipérbole.
Utilizando los multiplicadores de Lagrange (entonces $6$ variables) me llevó al mismo resultado.
Los resultados se confirmaron posteriormente construyendo un gráfico de contorno de la distancia en función de los parámetros $x_e$ y $x_h$ .
Añadido más tarde a esta respuesta
El problema puede reducirse a una sola variable (por ejemplo $x_e$ ), eliminando $x_h$ en función de $x_e$ de una de las derivadas de la distancia con respecto a las variables. Lo que queda entonces es resolver la derivada restante para $x_e$ (la ventaja de mantener $x_e$ como la única variable del problema es que está acotada entre $0$ y $2$ ).
Así, el problema se reduce ahora a la solución de una única ecuación para una única incógnita. Esto funciona y conduce a resultados idénticos. Los métodos de Newton funcionan bastante bien, excepto si las iteraciones comienzan en $x_e=0$ o $x_e=2$ que corresponden a ramas infinitas. Pero, por ejemplo, empezar las iteraciones en $x_e=1$ los iterados sucesivos son $1.32085$ , $1.57018$ , $1.62728$ , $1.62723$ .
Este enfoque podría utilizarse para encontrar la distancia más cercana entre dos cónicas.