Interesante, esta pregunta es muy parecida (pero no del todo) a una tarea que tengo que hacer el lunes, y que he intentado resolver parte del viernes y todo el sábado (y que ya casi he abandonado), sin suerte.
Tengo que responder exactamente a la misma pregunta que tú, pero me han encargado que lo haga "dividiendo el problema en dos casos. Primero un caso en el que es el módulo 2, y luego el módulo 13".
Me imagino que después de encontrar la cantidad módulo 2 y 13, debo usar el Teorema del Resto Chino para hacer el resultado mod 26 de nuevo. Sin embargo, no sé cómo debo hacerlo. Lo que he hecho hasta ahora, es en realidad algo que parece más similar a lo que joriki sugirió (pero no tengo idea, si era el enfoque correcto para hacer en mi caso).
Lo que hago para intentar solucionarlo, es que yo, según las instrucciones, divido $det(A) \equiv \pm 1$ mod 26 en: $det(A) \equiv \pm 1$ mod $13$ y $det(A) \equiv \pm 1$ mod $2$ .
Entonces he estado pensando (y esta es la parte que creo que me recordó la solución de joriki) que como $A=A^{-1}$ significa que $A^2=I$ debería encontrar todos los casos en los que..:
$\pmatrix{a&b\\c&d}^2=\pmatrix{1&0\\0&1}$
Lo que significa que tengo las congruencias: \begin {align} a^2+bc& \equiv1\\ ab+bd& \equiv0\\ ca+dc& \equiv0\\ cb+d^2& \equiv1\ \end {align}
Pero ahí se acaba la diversión. No tengo ni idea de a dónde ir desde este punto.... O si lo que he estado haciendo hasta ahora, es la forma correcta de hacerlo, si quiero mostrarlo usando la pista dada... Espero que alguien pueda (y también ayude), y esté dispuesto a arrojar algo de luz sobre esto.
El curso en el que tengo esta tarea es un curso de introducción a la criptología, por lo que no estoy familiarizado (todavía, me parece que las matemáticas son atractivas, especialmente en un entorno de criptología) con la phi de Euler, las secuencias OEIS y los términos cuadráticos de los residuos, por lo que no he sido capaz de darles la vuelta y darme la suficiente inspiración para resolver mi propio subproblema aquí.
Perdona si me estoy desviando de tu pregunta. Hice una pregunta aparte al principio, pero se consideró un duplicado de esta. Y estoy de acuerdo con eso. Esta es una subpregunta sobre cómo resolver tu pregunta de manera específica. Espero que la respuesta (espero conseguir una) pueda ser interesante para ti también, ya que parece que te estás introduciendo en la criptografía también :)