Demasiado largo para comentarlo:
Un rápido vistazo sugiere que la "mediana mínima de cuadrados" es el camino a seguir, y el artículo más destacado al respecto es el de Roth y Levine [G. Roth y M.D. Levine. Extracción de primitivos geométricos. CVGIP: Image Understanding, 58(1):1-22, 1993]. Por desgracia, no he podido encontrar este artículo. Una segunda referencia (que tampoco he podido encontrar) podría ser [P. Rousseeuw y A. Leroy. Robust Regression and Outlier Detection. Wiley, 1987].
Creo que este es el camino a seguir por una ruta tortuosa. En primer lugar, la página 22 de esta presentación lo hace, y hace referencia a este documento. Este documento de Rosin sobre el ajuste de elipses y sobre el efecto de los valores atípicos en los mínimos cuadrados en particular menciona la 'mediana de mínimos cuadrados' como una buena alternativa, y hace referencia tanto a Roth y Levine, como a Rousseeuw y Leroy. Por desgracia, el propio artículo de Rosin parece tener una utilidad limitada.
En el artículo de Rosin también se mencionan otros métodos. Espero que le sirva de ayuda.