Tienes una buena intuición. Sin embargo, si te doy una función bonita (suave), al acercarme a algún punto de una superficie, la función bonita se parecerá cada vez más a una línea recta. Como los límites sólo se preocupan por el comportamiento muy cerca de un punto, no podemos ver la diferencia entre líneas rectas y líneas curvas una vez que nos acercamos lo suficiente. Por lo tanto, no surgirán nuevas ideas al considerar las funciones en contraposición a las líneas rectas.
Sin embargo, estás muy cerca de discutir algo conocido como el Derivado de Gateaux (de hecho, una derivada funcional como pensabas). Como estás aprendiendo cálculo, evitaré dar detalles, pero quizás lo siguiente sea una forma útil de pensar en la derivada de Gateaux utilizando el lenguaje que ya conoces del cálculo vectorial.
Es de suponer que ha visto los vectores como elementos de $\mathbb{R}^n$ pero los vectores pueden ser objetos muy generales. Por ejemplo, ¡las propias funciones pueden considerarse vectores! En un espacio de funciones, los puntos/vectores son funciones: un vector es la función $f(x) = x$ y otro vector es la función $g(x) = \cos(x)$ y así sucesivamente.
Una vez que nos sintamos cómodos pensando en las funciones como vectores, podemos empezar a definir el cálculo sobre estos vectores de forma parecida a como se hace actualmente en el cálculo vectorial. Una función, $F$ sobre estos vectores es una "función sobre funciones": $F$ introduce una función $f$ y emite otra función $g$ . Por ejemplo, $F$ puede multiplicar la función de entrada por 2: $F(f) = 2f$ .
Ahora estamos preparados para pensar en los derivados funcionales. La derivada de Gateaux es completamente análoga a la derivada parcial: fijamos un vector (que fija una "dirección") $u$ y considerar el cambio instantáneo de $F$ a lo largo de $u$ . Decimos que $F$ tiene el diferencial de Gateaux en $f$ en la dirección $u$ si existe el siguiente límite:
$$ \lim_{\tau \to 0} \frac{F(f+\tau u)-F(f)}{\tau}.$$
¡Espero que esto ayude un poco! Lo que planteas son preguntas muy interesantes; deberías seguir con tu instructor para discutirlo con más detalle.