Hay una puramente algebraico teoría de las soluciones de las ecuaciones diferenciales que puede considerarse que proporciona el tipo de análogo diferencial que usted busca. A campo diferencial es un campo con un derivación, es decir, el mapa lineal $\rm\:y\to y'$ cumpliendo la regla del producto $\rm\:(uv)' = u'v + v'u.\:$ Dejemos que $\rm\:F\:$ sea un campo diferencial de característica $0$ Por ejemplo $\rm\,\Bbb C(x),\:$ y que $\rm\:L(y) = y^{(n)} + a_{n-1} y^{(n-1)}+\,\cdots\, + a_1 y' + a_0 y = 0,\:$ $\rm\, a_i\in F,\:$ ser un $\rm\,n$ -ecuación diferencial lineal de orden con coeficientes en $\rm\,F.\,$ Se puede demostrar que existe un "campo de división" diferencial mínimo $\rm\,K\,$ que contiene todas las soluciones de $\rm\:L(y)= 0.\:$ Sí, es cierto, $\rm\,K\,$ puede construirse a partir de $\rm\,F\,$ simplemente por formalmente colindante $\rm\,n\,$ $\rm\,F$ -soluciones lineales independientes $\rm\,y_1,\ldots,y_n$ de $\rm\,L(y)= 0,\,$ junto con todas sus derivadas, dando lugar al campo de extensión diferencial
$$\rm K\, =\, F(y_1,\ldots,y_n, y_1',\ldots, y_n',\ldots, y_1^{(n-1)},\ldots,y_n^{(n-1)})$$
Nótese que este campo es cerrado bajo diferenciación ya que la ecuación $\rm\:L(y) = 0\:$ nos permite reescribir todos los $\rm\:y_i^{(k)},\,\ k\ge n,\:$ en términos de derivadas de orden inferior. Este campo es único hasta una diferencial $\rm\,F$ -y se conoce como el Picard-Vessoit extensión de $\rm\,F\,$ asociado a $\rm\:L.\:$ (Nota: para simplificar, omito algunos tecnicismos, por ejemplo, la conservación de subcampos constantes).
Además, existe un bello análogo diferencial de la teoría de Galois que, por ejemplo, permite caracterizar algebraicamente las ecuaciones resolubles en un campo diferencial ("louivilliano") obtenido por adjunciones sucesivas de exponenciales, integrales o elementos algebraicos.
Esta teoría puramente algebraica es la base de los algoritmos constructivos empleados en los sistemas de álgebra computacional para la manipulación simbólica de muchas funciones elementales comunes.
Para una introducción a estas ideas, puede que le resulte instructivo hojear las secciones introductorias de Documentos de Michael Singer y leer sus encuestas, por ejemplo Soluciones formales de ecuaciones diferenciales, y Un esquema de la teoría diferencial de Galois, y Introducción a la teoría de Galois de las ecuaciones diferenciales lineales.