Sugerencia. Mediante la aplicación de fila y la columna de operaciones en $AB$, nos encontramos con que si
$$
P=\pmatrix{2&0&2&4\\ -1-2x&1&-3x y-1-4x\\ 2&0&3&4\\ 6&0&6&14},
\ P^{-1}=\pmatrix{\tfrac92&0&-1&-1\\ 3&1&x-1&\tfrac{-1}2\\ -1&0&1&0\\ \tfrac{-3}2&0&0&\tfrac12},
$$
entonces
$$
(PA)(PA^{-1}) = \pmatrix{0&0&0&0\\ 0&1&x&0\\ 0&0&1&0\\ 0&0&0&2}.\la etiqueta{1}
$$
Deje $PA=\pmatrix{a^T\\ A_1}$ $BP^{-1}=\pmatrix{b&B_1}$ donde$a,b\in\mathbb{R}^3$$A_1,B_1\in M_3(\mathbb{R})$. Desde $BA$ es invertible, debemos tener $\operatorname{rank}(PA)=\operatorname{rank}(BP^{-1})=3$ (żpor qué?). Por lo tanto sostienen que $a=b=0$$A_1B_1=\pmatrix{1&x&0\\ 0&1&0\\ 0&0&2}$. Sin embargo, $A_1B_1$ es similar a $B_1A_1$, e $B_1A_1=BA$ es diagonalisable (ejercicio). De ahí sólo hay un valor posible de $x$, que es ...
P. S. Un par de viable $A,B$ está dado por
$$
A = \pmatrix{0&-1&0\\ 0&-1&\tfrac12\\ -2&-3&-7\\ 1&2&\tfrac72},
\ B = \pmatrix{-57&-7&-66&-141\\ 14&0&15&32\\ 10&2&12&26}.
$$