"Estaba pensando que para encontrar los inversos por separado de cada término en Z5 y luego formar la matriz?" Tal y como yo interpreto esa frase estás diciendo que $(a_{ij})^{-1}=(a_{ij}^{-1})$ lo cual no es cierto.
Para hallar la inversa de una matriz no basta con tomar la inversa de cada elemento. Ahora, para responder a la pregunta, depende de cómo / qué se puede utilizar para calcular la inversa. Si lo haces a mano, entonces haz una tabla rápida de suma y multiplicación de $\mathbb{Z_5}$ y hallar la inversa exactamente igual que con los números reales, salvo que todas las sumas, restas, multiplicaciones y divisiones deben hacerse en $\mathbb{Z_5}$ .
Si utilizas Matlab, por ejemplo, entonces (en general) sólo tienes que tomar la inversa "normal" (sobre los reales), multiplicar cada entrada de la matriz por el determinante (real) que convertiría todas las entradas en enteros si tuvieras decimales/racionales. A continuación, multiplique todas las entradas de la matriz por la inversa multiplicativa del determinante en $\mathbb{Z_5}$ para "deshacer" la multiplicación real que hiciste. Todavía tienes todos los enteros. Luego reduces mod 5 y listo.
En tu caso, el determinante en reales es 6, lo que significa que el determinante sobre $\mathbb{Z_5}$ es 1. Regla general, si el determinante es invertible en cualquier sistema numérico en el que trabajes, la matriz también será invertible. Así que en este caso tu matriz es invertible Y no tienes que hacer los dos últimos pasos en los que multiplicas por el determinante y luego por su inversa.