Debes demostrar que $*$ es asociativo, es decir, que
$$(x*y)*z=x*(y*z)\tag{1}$$
para todo $x, y, z \in \Bbb Z$. Un enfoque simple es expandir cada lado de $(1)$ por separado y luego verificar que las expansiones sean iguales. Por ejemplo,
$$\begin{align*} (x*y)*z&=(3xy-5x-5y+10)*z\\ &=3(3xy-5x-5y+10)z-5(3xy-5x-5y+10)-5z+10\\ &=(9xy-15x-15y+30)z-15xy+25x+25y-50-5z+10\\ &=9xyz-15xz-15yz+30z-15xy+25x+25y-50-5z+10\\ &=9xyz-15xy-15yz-15xz+25x+25y+25z-40\;. \end{align*}$$
El primer paso aquí es simplemente aplicar la definición de $*$ a $x*y$. Luego tratamos al entero resultante, $3xy-5x-5y+10$, como el primer operando de una expansión similar. Si esto es un poco difícil de seguir al principio, temporalmente deja $u=3xy-5x-5y+10$; el segundo paso del cálculo es simplemente reescribir $u*z$ como $3uz-5u-5z+10$. El resto del cálculo es álgebra ordinaria.
Ahora expande $x*(y*z)$ en una expresión algebraica ordinaria de manera similar; si obtienes la misma expresión, has demostrado que $*$ es asociativo.
Para encontrar la identidad, debes identificar un entero $n$ tal que $n*x=x*n=x$ para todo $x \in \Bbb Z. De hecho, es bastante fácil demostrar que $*$ es conmutativo, y una vez que hayas hecho eso, solo necesitas verificar que $n*x=x$ para todo $x \in \Bbb Z$. Así que buscas un $n \in \Bbb Z$ tal que
$$3nx-5n-5x+10=x\tag{2}$$
para todo $x \in \Bbb Z. Resolver $(2)$ para $n$ es directo.
Una vez que sepas cuál es la identidad $n$, querrás encontrar todos los $x$ invertibles en $\Bbb Z$, es decir, todos aquellos para los cuales existe un $y \in \Bbb Z$ tal que $x*y=n$. Para esto sugiero usar la definición de $*$ para escribir $x*y=n$ como una ecuación algebraica ordinaria, resolver esa ecuación para $y$ en términos de $x$, y determinar para qué valores enteros de $x$ la solución $y$ también es un entero.
