Un espacio proyectivo es $\frac{V \setminus \underline{0}}{\sim}$ , donde $\sim$ es una relación de equivalencia definida como $\underline{x} \sim \underline{y} \Leftrightarrow \underline{x} = \rho \underline{y} \; \rho \in \mathbb{R}^{*}$ , $V$ es un espacio vectorial, $\underline{0}$ es el vector nulo y $\mathbb{R}^* = \mathbb{R} \setminus \{ 0 \}$ .
Básicamente, lo que dice la definición es que un espacio proyectivo es un espacio vectorial sin el vector cero y donde se identifican todos los vectores que son múltiplos unos de otros. Esto lleva a representaciones topológicas de los espacios proyectivos como la recta proyectiva, que se puede identificar como un círculo (si se añade el "punto en el infinito" en una recta, se cierra).
En cuanto a tu intuición, es correcta. Lo que ocurre en un espacio proyectivo es que se "añaden" unos "puntos en el infinito" que identifican una dirección (todas las líneas paralelas "terminan" en el mismo punto).
Como señala aaron, dado que qutientamos todos los múltiplos, el espacio proyectivo tiene una dimensión menor que el espacio vectorial con el que lo construimos.
EDIT: releyendo el comentario del OP, veo que he respondido sólo parcialmente. El punto de que el horizonte es un círculo se deriva de un modelo topológico del espacio proyectivo de 2 dimensiones (plano proyectivo). Puedes verlo como tu plano cartesiano "normal", donde añades un "círculo" en el infinito, donde se identifican todos los puntos antípodas. Esto significa que los puntos situados en la circunferencia en el primer cuadrante son los mismos que los puntos de la circunferencia en el tercero (lo mismo para el segundo y cuarto cuadrante). Esto es sólo una descripción de lo que dijo aaron: estás tomando todas las líneas desde el origen e identificando sus direcciones (sus "puntos en el infinito") para que todas las líneas paralelas terminen en el mismo punto. (Podría dibujar algo en el ordenador, pero quedaría muy tonto, porque no puedo programar nada que lo haga por mí automáticamente, así que tendría que usar el MS Paint) Así que, sí, el horizonte es en realidad un círculo y "en perspectiva" las líneas paralelas se encuentran "en el infinito", que fue la motivación para que los artistas empezaran a pensar matemáticamente en la perspectiva (este es, creo, uno de los orígenes históricos al plano proyectivo).
En cuanto a la recta proyectiva, hay que pensar en añadir un solo punto a una recta regular, digamos "en el infinito". Lo que ocurre es que la línea parte de este punto muy lejos y termina en este mismo punto (intuitivamente, una línea sólo tiene "un infinito" al que ir) por lo que se cierra en un círculo.
¿Esto es más explicativo? :)