Para demostrar que un límite no existe, basta con demostrar (como comentó Eoin) que el límite cambia a lo largo de diferentes caminos. A veces los caminos no son obvios, sin embargo, el ejemplo que diste es un ejemplo típico en textos de cálculo que muestra que, aunque puedas encontrar acuerdo en el límite para caminos a lo largo de los ejes $x$ e $y$, al elegir la recta $y=x$ se obtiene un límite diferente, por lo que el límite no existe.
Para demostrar que un límite multivariable existe se requiere más cuidado que en el caso univariable, sin embargo, algunos enfoques comunes incluyen
-
Apelar a teoremas de continuidad (por ejemplo, los polinomios son continuos, al igual que las funciones diferenciables, aunque esto también requiere un poco más de cuidado que la diferenciabilidad univariable).
-
Usar propiedades radiales de la función.
-
Usar un teorema de acotamiento multidimensional.
Por supuesto, siempre se puede recurrir a la definición de $\varepsilon, \delta$ si es necesario. Intentaré abordar los puntos 2 y 3 a continuación.
Funciones Radiales - Nota que, simplemente al chequear la definición, se encuentra que en general, para cualquier función $f(\vec x)$,
$$\lim_{\vec x \to \vec a} f(\vec x) = \lim_{\lVert \vec x - \vec a \rVert \to 0} f(\vec x).$$
De alguna manera esto parece más simple. Por una parte, el operador de límite aquí es simplemente el operador de límite típico que tenemos en Cálculo univariable. Si también somos capaces de reescribir $f(\vec x)$ como una función de $\lVert \vec x - \vec a \rVert$, es decir, que existe alguna función $g$ tal que $f(\vec x) = g(\lVert \vec x - \vec a \rVert)$, entonces podríamos escribir aún más
$$\lim_{\lVert \vec x - \vec a \rVert \to 0} f(\vec x) = \lim_{\lVert \vec x - \vec a \rVert \to 0} g(\lVert \vec x - \vec a \rVert) = \lim_{r\to 0^+} g(r)$$ donde $r\in \mathbb R$ y el límite de un lado a la derecha se debe al hecho de que $r$ reemplazó a la cantidad positiva $\lVert \vec x - \vec a \rVert$. Las funciones para las cuales existe dicho $g$ se llaman radiales (al menos cuando $\vec a = 0$), ya que para estas funciones el valor de $f(\vec x)$ depende únicamente de la distancia del punto $\vec x$ al origen. Ejemplos de tales funciones incluyen un cono o las ondulaciones en la superficie del agua después de arrojar una piedra.
Como ejemplo concreto de cómo podría funcionar esto, considera la función $$f(x,y) = (x^2+y^2)\log(x^4+2x^2y^2+y^4).$$ Esto puede parecer complicado al principio, pero quise elegir un ejemplo no trivial. Si se nos pide encontrar el límite cuando $(x,y)\to(0,0)$, nos beneficiaremos al notar primero que $$f(x,y) = (x^2+y^2)\log((x^2+y^2)^2)=g(\lVert(x,y)\rVert)$$ donde $g(r)=r^2\log(r^4)=4r^2\log(r)$. Ahora escribimos
$$\lim_{(x,y)\to(0,0)}f(x,y) = \lim_{r\to0^+}4r^2\log(r)$$ y el límite a la derecha es completamente un límite de cálculo univariable, al cual podemos aplicar todos nuestros teoremas de límites univariables incluyendo la regla de l'Hôpital (que será necesaria en este caso). Este método puede parecer tener pocas aplicaciones, sin embargo, en combinación con el teorema de acotamiento se puede aplicar fácilmente este truco a funciones no radiales $f(\vec x)$ apretando dicha función entre funciones radiales.
Teorema de Acotamiento - Aquí se debe tener cuidado para asegurar que las funciones límite superior e inferior permanezcan por encima y por debajo de la función respectivamente en una vecindad alrededor del punto de interés, pero aparte de eso, el razonamiento es el mismo que en cálculo univariable. A menudo, al menos en ejemplos sencillos, se encuentran funciones que realmente limitan globalmente la función, por lo que esto no es tan difícil como podría sonar.
Como ejemplo, toma $f(x,y)= \frac{x^5 y}{x^4+4y^2}$, y supón que deseamos el límite cuando $(x,y)\to(0,0)$. Entonces nota que
$$0\le\left|\frac{x^5 y}{x^4+4y^2}\right|\le\left|\frac{x^5 y}{4x^2y}\right|=\left|\frac 1 4 x^3\right|$$
Y ahora, apelando a la continuidad o delimitando radialmente el lado derecho, encontramos que las funciones externas tienden a $0$ cuando $(x,y)\to (0,0)$, por lo tanto $f(x,y)\to 0$ también.
La respuesta aquí incluye una serie de estrategias e ideas útiles, pero pensé que también sería útil demostrar los dos anteriores con detalle aquí.