$(a+b)^2|2a^3 +6a^2b+1$ si $k(a^2+2ab+b^2) = 2a^3 +6a^2b+1$ o $-2a^3+a^2(k+6b)+a(2kb)+(kb^2+1)=0$ . Se trata de una ecuación cúbica por lo que se podría encontrar $(a,b)$ resolviendo para $a$ pero entonces todavía habría que iterar por el $k$ y $b's$ para encontrar un valor entero de $a$ y $b$ . También es una curva elíptica, concretamente $y^2 = -2a^3+a^2(k+6b)+a(2kb)+(kb^2+1)$ . Se podría reducir esto a la forma de Weiertrauss utilizando la fórmula de reducción cúbica para obtener algo como $y^2 = a^3 + pa + q$ . En cualquier caso, las curvas elípticas tienen un número finito o infinito de soluciones. Buscamos valores enteros de $a,b$ así que podemos aplicar lo que sabemos sobre la resolución de puntos racionales en curvas elípticas. Si buscamos puntos racionales, entonces los puntos racionales $E(\mathbb{Q})$ forman un grupo abeliano y está finitamente generado, es decir, hay un número finito de puntos racionales que uno puede utilizar para encontrar el resto de los puntos.
Resolver tu problema es lo mismo que encontrar puntos racionales en una curva elíptica y hay muchos trucos para hacerlo, muchos de los cuales se pueden encontrar en Internet. Que yo sepa, no hay ninguna fórmula para resolver curvas elípticas, sólo métodos para encontrar soluciones. Sin embargo, tu pregunta es aún más complicada que eso, porque dos de los valores de tu curva elíptica son indeterminados.
Este enlace ofrece algunos ejemplos de cómo resolver las curvas elípticas si su $k,b$ se determinaron. Sin embargo, incluso con ellos determinados, uno seguiría utilizando un algoritmo para encontrar los puntos. http://www.math.brown.edu/~jhs/Presentaciones/WyomingEllipticCurve.pdf