La respuesta corta es: El contexto importa.
La palabra "función" aparece en muchas (si no en todas) las diferentes ramas de las matemáticas, donde la cualidad que tienen en común es que una función $f\colon X\to Y$ es una correspondencia entre conjuntos.
En Cálculo, a menudo pensamos en las funciones como mapeos de un subconjunto de $\mathbb{R}$ a $\mathbb{R}$ que satisfacen alguna condición de regularidad (continua, diferenciable, analítica, medible, integrable...), y a veces suponemos implícitamente que la función de la que estamos hablando tiene esas propiedades deseadas.
En álgebra lineal, las "funciones" que consideramos son mapas lineales de un espacio vectorial $V$ a otro espacio vectorial $W$ . Así pues, en muchos casos, si una afirmación empieza por "Que $f\colon V\to W$ sea una función", suele significar un mapeo lineal.
En Topología, una función $f\colon X\to Y$ suele significar una cartografía continua entre dos espacios.
En cuanto a lo que has dicho: sí, es cierto que las funciones $f\colon A\subseteq \mathbb{R}\to \mathbb{R}$ ¡son vectores abstractos de algún espacio!
Así que, resumiendo: una función es un mapeo entre conjuntos, pero dependiendo del contexto, a ese mapeo se le pueden exigir algunas propiedades adicionales.
Como nota al margen, a algunas personas les gusta reservar el concepto "función" para las correspondencias con codominio $\mathbb{R}$ (o un campo en general) y llamar a todo lo demás "mapa". Así, una transformación lineal $f\colon \mathbb{R}^{2}\to \mathbb{R}$ se denomina función, y una transformación lineal $f\colon \mathbb{R}^{2}\to \mathbb{R}^{2}$ puede llamarse simplemente mapa.
Edición: digamos que tiene $y=ax+b$ donde $a$ y $b$ son números reales. Esa ecuación define un mapa $f\colon \mathbb{R}\to \mathbb{R}$ dada por $f(x)=ax+b$ . Este mapa es una "función" en el sentido del cálculo (y tiene prácticamente todas las propiedades deseables). También es un mapa entre espacios vectoriales, pero puede no ser lineal (si $b\neq 0$ no lo es), por lo que no se consideraría una "función interesante" entre espacios vectoriales (es un mapa afín, para ser exactos).
Aún así, es un vector de muchos espacios vectoriales: por ejemplo, está en los siguientes espacios:
$$V=\{\text{Polynomials in one variable}\}$$ $$W=\{\text{Mappings from } \mathbb{R} \text{ to itself}\}$$ $$F=\{\text{Affine maps from }\mathbb{R}\text{ to itself}\}$$