Es significativo y legítimo, y de hecho, es como muchos se resuelven las ecuaciones diferenciales. De acuerdo, es confuso porque el cálculo se suele enseñar de tal manera que $\frac{d}{dx}[\ ]$ es un operador y no una variable, pero cuando se tiene $\frac{dy}{dx}$ en una ecuación que necesitas resolver, puedes tomar $dy$ y $dx$ para significar una cantidad infinitesimal de $y$ y $x$ respectivamente.
Infinitesimales no se introdujeron formalmente hasta la década de 1950, pero eran lo que Leibniz tenía en mente en su formulación del cálculo. Sólo que no se pudo explicar de forma rigurosa hasta el desarrollo de la teoría de modelos. Los matemáticos utilizaban este tipo de técnica de todas formas, porque es mucho más rápido que utilizar la definición de derivada basada en límites cada vez que se quiere hacer cálculo. Así es como se enseña en el plan de estudios moderno. Se empieza con la definición rigurosa de una derivada, y luego se utilizan estas técnicas que se explican de forma no tan rigurosa.
Para continuar con tu ejemplo, si integras ambos lados de tu ecuación, obtienes
$$\int dy = \int \frac{-1}{x^2} dx,$$ $$y = \frac{1}{x} + c,$$
y su ecuación original satisface esto.