Podemos suponer $a>b\geq1$. Una $x$ que resuelve las ecuaciones es $\ne0$ y también se resuelve la ecuación
$$(a-b)(x^2-x)=0\ .$$
Esto implica $x=1$ e implica la $c=-1-a-b$. La deflación de los polinomios en la pregunta por el factor de $x-1$ nos deja con el par de ecuaciones
$$\left.\eqalign{x^2+(a+1)x+a+b+1&=0\cr y^2+(b+1)y+a+b+1&=0\cr}\right\}$$
que debe tener en total cuatro diferentes pares de enteros soluciones de $\ne1$. Vamos $-r$, $-s$ ser la solución de la primera de estas ecuaciones, y $-u$, $-v$ ser la solución de la segunda. De ello se sigue que
$$\eqalign{r+s&=a+1,\qquad rs=a+b+1\geq4\cr
u+v y=b+1,\qquad uv=a+b+1\geq4\ .\cr}\etiqueta{1}$$
De ello se desprende que todas las cuatro cantidades $r$, $s$, $u$, $v$ se $>0$. Podemos asumir $r>s$, $\>u>v$.
Ahora consideraremos $r$ $s$ como se ha dado y tiene que comprobar que los pares de $(r,s)$ son admisibles. Desde la parte superior de la línea de $(1)$ obtenemos que
$$a=r+s-1,\qquad b=rs-r-s\ ,$$
de modo que la segunda línea de $(1)$ da
$$\eqalign{u+v&=rs-r-s+1=(r-1)(s-1)\ ,\cr
uv&=ld\ .\cr}\etiqueta{2}$$
La condición de $u+v=b+1\geq2$ implica entonces $r>s\geq2$.
El equatons $(2)$ implica que $u$ $v$ son las soluciones $t_1$, $t_2$ de la ecuación cuadrática
$$t^2-(rs-r-s+1) t+rs=0\tag{3}$$
con discriminante
$$D:=(rs-r-s+1)^2-4rs=(rs-r-s-1)^2-4(r+s)\ .\tag{4}$$
Queremos que $D$ es un cuadrado. El número de $D$ sólo puede ser un cuadrado si $D\leq(rs-r-s-2)^2$. Ahora la condición
$$(rs-r-s-1)^2-4(r+s)\leq(rs-r-s-2)^2$$
se simplifica a $2(r-3)(s-3)\leq21$, o
$$(r-3)(s-3)\leq10\ .$$
Esto nos deja con los casos de (i) $r>s=2$, (ii) $r>s=3$ y $${\rm (iii):}\qquad 4\leq s<r\leq 3+{10\over s-3}\ .\tag{5}$$ In the case (i) we obtain from $(4)$ que
$D=(r-5)^2-24$. Desde $D$ tiene que ser un cuadrado, esto significa que tenemos que representar a $24$ como una suma de sucesivos números impares. Hay dos de estas representaciones, es decir,$24=3+5+7+9$$24=11+13$, que conduce a la admisible pares de $(10,2)$$(12,2)$.
En el caso (ii) se obtiene a partir de a $(4)$ que $D=(2r-5)^2-21$. Esto significa que tenemos que representar a $21$ como una suma de sucesivos números impares. Hay dos de estas representaciones, es decir,$21=5+7+9$$21=21$, que conduce a la admisible pares $(5,3)$, $(8,3)$.
En el caso (iii) las condiciones de $(5)$ admiten $s=4$$r\in[5..13]$, e $s=5$$r\in[6..8]$. La comprobación de los casos reveils que sólo $(5,4)$ es admisible par.
Todos en todo lo que hemos encontrado cinco admisible pares de $(r,s)$, es decir,
$$(10,2),\quad(12,2),\quad (5,3),\quad(8,3),\quad (5,4)\ .$$
Las soluciones correspondientes a $\{u,v\}$ $(3)$ son entonces
$$\{5,4\},\quad\{8,3\},\quad\{5,3\},\quad\{12,2\},\quad\{10,2\}\ .$$
Como queremos $r$, $s$, $u$, $v$ todos diferentes, tenemos que descartar el par $(r,s)=(5,3)$, y nos quedamos con básicamente dos soluciones para el problema original, correspondientes a los pares de $(r,s)=(10,2)$$(r,s)=(12,2)$. De $(1)$ $c=-1-a-b$ se obtiene el coeficiente de triples
$$(a,b,c)=(11,8,-20)\quad{\rm and}\quad (a,b,c)=(13,10,-24)\ .$$
