En primer lugar, su intento es un buen comienzo, pero lleva un poco difícil agujero del conejo (aunque David K. le da una muy buena explicación). De hecho, la siguiente cosa que usted necesita hacer es determinar los valores de $m$ tal que
$$ m^2 - 3m + 4 $$
es un cuadrado perfecto. Esto podría ser una forma viable de la línea de ataque, pero parece difícil. En vez de eso, vamos a poner un pin en el argumento e inténtelo de nuevo desde el principio.
En lugar de intentar resolver por $n$, vamos a tratar de resolver para $m$ lugar (esto no podría funcionar mejor, pero si nos quedamos atascados de nuevo, siempre podemos volver a lo que estaban tratando en primer lugar).
\begin{align}
\frac{1}{m} + \frac{1}{n} - \frac{1}{mn^2} = \frac{3}{4}
&\implies 4n^2 + 4mn - 4 = 3mn^2 \\
&\implies 4mn - 3mn^2 = 4 - 4n^2 \\
&\implies (4n-3n^2)m = 4 - 4n^2 \\
&\implies m = \frac{4-4n^2}{4n-3n^2}.
\end{align}
Esto todavía se ve super complicado, pero vamos a ver qué podemos hacer con él. En primer lugar, podemos tratar de mirar la gráfica de esta función. Esto no nos va a dar un riguroso argumento, pero es posible que nos diga dónde buscar. Por lo tanto, poner $n$ eje horizontal y $m$ en el eje vertical, obtenemos
Estamos interesados en los puntos en el gráfico que golpear las esquinas de la cuadrícula. En la imagen, parece que hay posibles soluciones a $n = -5, -1, 1, 2$. Fuera de los límites de la imagen, se parece a la gráfica aumenta a un poco más de $1$ $n$ tiende a $-\infty$, y disminuye al mismo valor de $n$ aumenta a $+\infty$, por lo tanto no hay ningún otro potencial entero de soluciones (esto puede ser de manera rigurosa, apelando a la primera derivada de la prueba a partir de una introducción de nivel de curso de cálculo). Por adivinar y comprobar, obtenemos
\begin{align}
f(-5) &\approx 1.01 && (\text{not an integer}) \\
f(-1) &= 0 \\
f(1) &= 0 \\
f(2) &= 3.
\end{align}
Así, a través de este enfoque, hemos de descartar una posible solución ($n=-5$), y obtener tres posibles soluciones ($(m,n) = (0,-1), (0,1), (3,2)$). Sin embargo, si tratamos de sustituir $m=0$ en el original de la ecuación, obtenemos dividiendo por cero, lo cual es una mala noticia. Por lo tanto el único entero solución es
$$ (m,n) = (3,2). $$
Veo que mientras yo estaba escribiendo, user3553031 proporcionado una respuesta que es esencialmente el mismo como el siguiente. Así que ahora que usted lo consigue de dos maneras. :)
Para abordar este un poco más de rigor, vamos a volver a la ecuación
$$
m
= \frac{4-4n^2}{4n-3n^2}
= \frac{4(n^2-1)}{3n^2-4n}
= \frac{4(n+1)(n-1)}{n(3n-4)}.
$$
Este será un número entero si y sólo si el denominador se divide el numerador. Sin embargo, como hemos observado anteriormente, no podemos tener a $n=\pm 1$, lo que implica que $n$ no se puede dividir cualquiera de las $n+1$ o $n-1$—de hecho, $n$ es primo relativo a cada uno de estos, así que no hay factor de $n$ puede dividir $(n+1)(n-1)$. Pero $m$ es un número entero, lo que implica que $n$ debe ser un factor del numerador, por lo que debe ser ese $n$ es un número entero que divide a 4. Por lo tanto, $n = \pm 1$ (que ya hemos descartado), $n = \pm 2$ o $n = \pm 4$. Las pruebas de cada uno de estos (el uso de una calculadora, porque soy perezoso), obtenemos
\begin{align}
n = -4 & \implies m = 0.9375 \\
n = -2 & \implies m = 0.6 \\
n = 2 & \implies m = 3 \\
n = 4 & \implies m = 1.875.
\end{align}
Sólo una de estas soluciones te da valores enteros para ambos $m$$n$, por lo que debemos concluir que la única solución para el problema original es
$$ (m,n) = (3,2). $$