Creo que la idea es que las líneas son conjuntos de puntos. La longitud de una línea es igual a la cardinalidad del conjunto de los puntos que la componen.
Dicho de otro modo, que el segmento de línea $P_{1}P_{3}$ designar el conjunto $\langle P_1,P_2,P_3 \rangle$ . El segmento de línea tiene una longitud de 3 unidades.
De este modo, asignar medidas reales, como las pulgadas, a las unidades no es diferente de asignar cosas reales a los números. Por ejemplo, $2$ manzanas.
Las matemáticas son abstractas. La abstracción implica dejar cosas fuera (alternativamente, la concreción implica añadir cosas; como prefieras). Dejar fuera cosas físicas nos permite generalizar, que es una razón por la que las matemáticas son tan ampliamente aplicables.