Bueno, la cuestión es que cuando tienes unos objetos puedes definir operaciones entre ellos a tu antojo. Estas operaciones pueden ser significativas o no y ese es el punto de los axiomas de un espacio vectorial, son significativos y útiles.
En geometría se pueden definir los vectores como clases de equivalencia de segmentos de línea orientados. Luego se define la suma mediante la regla del paralelogramo y se define la multiplicación por el escalar como estiramiento o compresión del segmento. Has definido las operaciones, y esas propiedades son obedece sólo porque las operaciones que ha definido se comportan linealmente. ¿Qué significa eso?
El Álgebra Lineal se dedica a estudiar no "vectores y matrices" como mucha gente piensa al principio cuando empieza el curso. El Álgebra Lineal se dedica a estudiar estructuras lineales. Hay muchos las cosas lineales en matemáticas. Por ejemplo, tomemos dos funciones $f, g: \mathbb{R} \to \mathbb{R}$ y definir su suma como la función $f+g$ tal que $(f+g)(x)=f(x)+g(x)$ y definir su multiplicación por un escalar $\lambda$ para ser la función $\lambda f$ tal que $(\lambda f)(x) = \lambda f(x)$ .
Si ahora vas y compruebas los axiomas de un espacio vectorial, todos se cumplen. Pero espera, ¡las funciones en tal abstracción no pueden verse como segmentos de línea orientados! Y así es, sin embargo si introduces estas operaciones se comportan linealmente. La linealidad es una propiedad de gran importancia, la podemos ver en todas partes en las matemáticas, por lo que un estudio sistemático de la misma es realmente necesario. El Álgebra Lineal proporciona muy bien este estudio.
Entonces vienes y preguntas: "vale, ¿pero por qué entonces llamamos espacio vectorial a un conjunto con operaciones así?" y la respuesta es sencilla, porque normalmente utilizamos los "vectores geométricos" para saltar al álgebra lineal, de manera que los objetos con linealidad que "tomamos prestada" la propiedad para generalizar como vectores. Es sólo una cuestión de terminología. Hay autores como Kostrikin que prefieren llamar a un espacio vectorial como un espacio lineal, sólo para dejar claro que esas cosas son sólo cosas que se comportan linealmente.
Los vectores geométricos de los que hablas, vistos en física y en geometría analítica básica son sólo un caso de algo que se comporta de forma lineal. Son sólo una parte de una clase mayor de objetos con la propiedad de que cuando queremos combinarlos se nos permite crear "combinaciones lineales". Tu duda está perfectamente, trata de entender esta cosa de esta manera, te ayudará mucho a hacer cosas disjuntas - el recurso geométrico, y la generalización algebraica de una propiedad.
Por cierto, buena suerte con tus estudios de álgebra lineal. A medida que vayas profundizando en los conceptos y resultados podrás entender que esta única propiedad ("linealidad") otorga muchísimas cosas que una vez demostradas en la categoría de espacios lineales estarán disponibles como resultados en cada uno de sus casos específicos (como vectores geométricos, o funciones con operaciones puntuales y demás).
EDITAR: también preguntas cómo se pueden utilizar los vectores en la geometría. Bueno, la definición básica es una clase de equivalencia de segmentos de línea orientada, sin embargo para trabajar realmente con ella preferimos entender un vector como una "máquina que transporta puntos", es decir, un vector es algo que cuando lo enchufamos en un punto obtenemos el punto del otro lado de la línea orientada, donde se encuentra la flecha.
Con esta idea podemos generalizar las cosas a $n$ dimensiones. Simplemente decimos que $n$ -espacio, que llamamos $\mathbb{R}^n$ es el conjunto de los $n$ -(generalizando las coordenadas en el plano y el espacio) y entonces decimos que un vector es también un $n$ -tupla de números, cada uno de los cuales representa la cantidad que debemos transportar un punto paralelo a uno de los $n$ direcciones totalmente independientes, cuando enchufamos el vector en él.
De este modo, la representación de una línea en $n$ -el espacio es bastante fácil. ¿Qué es una línea? Una línea es el resultado de transportar un punto en la misma dirección para siempre. Así que elegimos un punto en $n$ -espacio $p \in \mathbb{R}^n$ y elegimos un vector $v \in \mathbb{R}^n$ y transportamos $p$ a lo largo de todos los múltiplos posibles de ese vector. En otras palabras, la línea es el conjunto:
$$L(p, v)=\left\{q \in \mathbb{R}^n \mid q = p + tv, t \in \mathbb{R}\right\}$$
Hay una suposición: sumamos puntos y vectores a voluntad. ¿Por qué? Bueno, para cada punto podemos asociar un vector (el vector de posición, desde el origen hasta el punto) y luego podemos sumar este vector con el nuevo como sumamos vectores normalmente. Esto transportará el punto como he dicho.
Creo que esto te ayudará un poco más. Buena suerte.