José te ha dado el razonamiento correcto usando la definición de $\frac{\partial f}{\partial x}$. Me gustaría hacer una crítica constructiva de algunos de los otros métodos que tú y tus compañeros utilizaron.
Primero, recordemos el teorema (algo abreviado) del Álgebra de Límites:
Supongamos que $\lim_{x \to a} f(x) = A$ y $\lim_{x \to a} g(x) = B$. Entonces
- $\lim_{x \to a} (f(x) - g(x)) = A - B$
- $\lim_{x \to a} f(x)/g(x) = A/B$, siempre que $B \neq 0$.
Entonces, bajo las hipótesis dadas, podemos sustituir simultáneamente cada función por su límite. Este es el teorema que estás utilizando en tu primer intento, pero hay dos problemas aquí.
El primero es que has sustituido $f(x_0 + \delta x, y_0) = f(0 + \delta x, 0)$ por su valor de función en $\delta x = 0$, no por su límite. En los casos donde $f$ es continua en $(0, 0)$, estas dos cantidades serán exactamente iguales. En este caso, $f$ no es continua en este punto. Si sustituyes cualquier cosa por esa expresión, en realidad debería ser $1$, que es el límite de $f(\delta x, 0)$ cuando $\delta x \to 0$: $$\lim_{\delta x \to 0} f(\delta x, 0) = \lim_{\delta x \to 0} \frac{\delta x^2}{\delta x^2 + 0^4} = \lim_{\delta x \to 0} 1 = 1.$$ (De paso, esto muestra que $x \mapsto f(x, 0)$ no es continua en $0$, lo que significa que no es diferenciable en $0$. Sin embargo, esta derivada en $0$ es precisamente la derivada parcial de $x$ de $f$, en $(0, 0)$, por lo que esta es una forma rápida de determinar que la derivada no existe.)
Así que ignoremos ese primer punto, y digamos por ahora que $\lim_{\delta x} f(\delta x, 0) = 0$. Entonces, es perfectamente válido decir, por el primer punto del teorema del Álgebra de Límites, que $$\lim_{\delta x \to 0} (f(\delta x, 0) - f(0, 0)) = 0 - 0 = 0.$$ Entonces, si dividimos $f(\delta x, 0) - f(0, 0)$ por alguna función $h(\delta x)$ con un límite no nulo $L$, entonces podemos decir que $$\lim_{\delta x \to 0}\frac{f(\delta x, 0) - f(0, 0)}{h(\delta x)} = \frac{0}{L} = 0.$$ Nuestro problema es que nuestro denominador real es $\delta x$, que tiende a $0$. Entonces, en lugar de eso (presumiblemente porque no conduce a una división por $0$), optas por una sustitución parcial, ¡que no está en el teorema del Álgebra de Límites! Las sustituciones parciales a veces son válidas bajo ciertas suposiciones (aunque este teorema en particular no las respalda directamente), pero como regla general, si la sustitución parcial es de alguna manera útil, entonces no es válida y probablemente te dará la respuesta incorrecta (como en este caso)! Básicamente, lo que digo es que no hagas sustituciones parciales.
Aquí hay un ejemplo simple de cómo sale mal. Nota que $\frac{x}{x} = 1$ para $x \neq 0$, por lo que $\lim_{x \to 0} \frac{x}{x} = 1$. Pero, si optamos por una sustitución parcial, $$\lim_{x \to 0} \frac{x}{x} \stackrel{?}{=} \lim_{x \to 0} \frac{0}{x} = 0.$$ ¡Nota: la conclusión está completamente equivocada!
Tu segundo enfoque es una prueba perfectamente válida de que el límite de $f(x, y)$ no existe cuando $(x, y) \to (0, 0)$. Si el límite existiera, entonces el límite de la función a lo largo de diferentes curvas a través de $(0, 0)$ sería igual a este único límite, pero dado que llegan a cantidades diferentes, este límite no existe.
Dado que este límite no existe, $f$ no es continua en $(0, 0)$, por lo que no tiene una derivada total en $(0, 0)$. Desafortunadamente, esto no es suficiente para concluir que alguna de las derivadas parciales no existe. De hecho, aunque esta función es discontinua, ¡$\frac{\partial f}{\partial y}(0, 0)$ existe! Tenemos $$\frac{\partial f}{\partial y}(0, 0) = \lim_{\delta y \to 0} \frac{f(0, 0 + \delta y) - f(0,0)}{\delta y} = \lim_{\delta y \to 0} \frac{\frac{0^2}{0^2 + \delta y^4} - 0}{\delta y} = \lim_{\delta y \to 0} \frac{0 - 0}{\delta y} = 0.$$ Entonces, esta lógica no es suficiente para decir que la derivada parcial con respecto a $y$ no existe, por lo que no es válido afirmar lo mismo para la derivada parcial con respecto a $x$.
Espero que algo de eso te ayude.