La pregunta es un poco ambigua: las tres respuestas anteriores utilizan tres interpretaciones diferentes. Si el PO quiere la distancia de la superficie del punto $X$ a la línea geodésica $\overleftrightarrow{AB}$ La respuesta es sencilla. Si la distancia deseada está entre $X$ y el segmento $\overline{AB}$ se requiere un poco más de trabajo.
Utilizando la longitud ( $\theta$ ) y la latitud ( $\phi$ ), dejemos que $A=(\theta_A, \phi_A)$ , $B=(\theta_B, \phi_B)$ y $X=(\theta_X, \phi_X)$ . Los vectores de dirección de estos puntos son $$\hat A = (\cos \phi_A \cos \theta_A, \cos \phi_A \sin \theta_A, \sin \phi_A),$$ $$ \hat B = (\cos \phi_B \cos \theta_B, \cos \phi_B \sin \theta_B, \sin \phi_B), $$ $$\hat X = (\cos \phi_X \cos \theta_X, \cos \phi_X \sin \theta_X, \sin \phi_X).$$
Dejemos que $\Phi$ sea la distancia en la esfera unitaria entre $\hat X$ y la línea geodésica que pasa por $\hat A$ y $\hat B$ . Imagina el avión $\mathcal{P}$ de paso $\hat A$ , $\hat B$ y el origen, que corta la esfera unitaria por la mitad. Entonces la distancia euclidiana de $\hat X$ desde el avión $\mathcal{P}$ es $\sin \Phi$ . Ahora dejemos que $\hat n$ sea un vector normal unitario para $\mathcal{P}$ y tenemos
$$\hat n = \hat A \times \hat B$$ $$\sin \Phi = | \hat n \cdot \hat X |$$
Así, si el radio de la esfera original es $R$ entonces la distancia de la superficie del punto $X$ a la línea geodésica $\overleftrightarrow{AB}$ es $R \Phi$ .
Para determinar la distancia al segmento $\overline{AB}$ necesitamos determinar si el punto de la línea $\overleftrightarrow{ A B}$ que $ X$ está más cerca es entre $A$ y $B$ . Si el punto más cercano está entre $A$ y $B$ entonces la distancia superficial al segmento es $R \Phi$ . En caso contrario, la distancia al segmento es la distancia al punto final más cercano, que se resuelve mejor mediante los métodos descritos en el Artículo de Wikipedia referenciado por Ross Millikan. Una forma de hacer esta determinación es encontrar el punto $\hat{X}_{\textrm{proj}}$ la proyección de $\hat X$ en el plano $\mathcal{P}$ ,
$$\hat{X}_{\textrm{proj}} = \hat X - (\hat n \cdot \hat X) \hat n,$$
y luego normalizar $\hat{X}_{\textrm{proj}}$ ,
$$\hat x = \frac{\hat{X}_{\textrm{proj}} }{| \hat{X}_{\textrm{proj}} |},$$
Así que determinar si el punto de la línea $\overleftrightarrow{AB}$ que $X$ está más cerca es entre $A$ y $B$ se reduce a determinar si $\hat x$ está entre $\hat A$ y $\hat B$ .
Consideremos ahora el punto medio de $\hat A$ y $\hat B$ ,
$$M=\frac{\hat A + \hat B}{2}$$
Si la proyección de $\hat x$ en el rayo $\overrightarrow{OM}$ está más lejos que la proyección de $\hat A$ o $\hat B$ entonces $\hat x$ está entre $\hat A$ y $\hat B$ es decir, si $\; \hat x \cdot M > \hat A \cdot M \; \; (=\hat B \cdot M)$ entonces $\hat x$ está entre $\hat A$ y $\hat B$ Si no es así, no.