No tiene sentido preguntar si un conjunto está cerrado: ¡tienes que preguntar si está cerrado en algo más!
Los números racionales están cerrados en los números racionales. Pero el cierre de los números racionales en los números reales es de hecho los números reales.
Los números reales están cerrados en los números reales. Pero el cierre de los números reales en los números reales extendidos es todos los números reales extendidos.
Hay otras nociones de las que se puede hablar, como varios tipos de completación o compactificación. Los números reales extendidos son una compactificación de los números reales.
Una cosa que puedes hacer es determinar, intrínsecamente, que los números reales tienen dos "extremos" (no recuerdo los detalles precisos de lo que hace que un extremo sea un extremo: tiene algo que ver con subconjuntos compactos y sus complementos); por lo tanto, si estás viendo las cosas de esta manera, compactificar los reales añadiendo un punto para cada extremo es algo natural que hacer.