Su argumento es correcto: $(r \cos \theta, r \sin \theta) = (0,0)$ se mantiene si y sólo si $r = 0$ por lo que acercarse al origen en coordenadas polares corresponde efectivamente a dejar $r \to 0$ . Sin embargo, puedes acercarte al origen desde diferentes direcciones, ¡algo con lo que hay que tener cuidado cuando se trabaja en coordenadas polares! El límite $ \lim_{(x,y) \to (0,0)} f(x,y)$ existe si y sólo si los límites $$ \lim_{r \to 0} f(r \cos \vartheta(r), r \sin \vartheta(r))$$ existen y están de acuerdo para cada parametrización $\vartheta: (0,1) \to [0,2\pi)$ del ángulo polar.
En tu problema esto funciona: $$ \lim_{r\to 0} f(r \cos \vartheta(r), r \sin \vartheta(r)) = \lim_{r\to 0} \, r \cos \vartheta(r) \sin \vartheta(r) = 0$$ es válida para cada $\vartheta$ desde $\cos$ y $\sin$ están limitados por $1$ .
Si consideramos $g(x,y) = \frac{x}{\sqrt{x^2 + y^2}}$ para $(x,y) \neq (0,0)$ En cambio, las cosas son muy diferentes. Tenemos $$ g(r \cos(\theta), r \sin(\theta)) = \cos \theta ,$$ así que $$ \lim_{r \to 0} g(r \cos(0), r \sin(0)) = 1 \neq -1 = \lim_{r \to 0} g(r \cos(\pi), r \sin(\pi)) \, .$$ Por lo tanto, el límite $\lim_{(x,y) \to (0,0)} g(x,y)$ no existe y no podemos elegir un valor para $g(0,0)$ con el fin de hacer $g$ continua.
Un mejor ejemplo de la cuestión lo proporciona este pregunta. Considere $$ h(x,y) = \frac{x^2 y}{x^4 + y^2} = \frac{r \cos^2 \theta \sin \theta}{r^2 \cos^4 \theta + \sin^2 \theta} \, . $$ A primera vista uno esperaría que el límite $0$ en el origen, dada la representación anterior en coordenadas polares. Sin embargo, a lo largo de la trayectoria parabólica $y = x^2$ el límite es igual a $\frac{1}{2}$ , por lo que el límite $\lim_{(x,y) \to (0,0)}h(x,y)$ no existe.
En coordenadas polares esta trayectoria está parametrizada implícitamente por $$\frac{\sin \vartheta(r)}{\cos^2 \vartheta(r)} = r \, $$ o explícitamente por $$ \sin \vartheta(r) = \frac{\sqrt{1+4 r^2}-1}{2r} \, , $$ que no es fácil de detectar. Esto ilustra el hecho de que el uso de coordenadas polares es posible, pero no siempre es aconsejable cuando se trabaja en estos problemas.