Para la criptografía, necesitas algunos cursos de matemáticas en teoría de números y álgebra abstracta, pero parece que ya sabes acerca de esos.
Contamos con tres cifrados cartográficos principales en forma de cifrados simétricos (basados en algoritmos como el Estándar de Cifrado Avanzado - AES), cifrados asimétricos y cifrados de flujo.
Los cifrados asimétricos están basados en funciones matemáticas de 'trampa' que utilizan el problema de factorización de enteros (como RSA), el problema del logaritmo discreto (como Diffie-Hellman) o el problema del logaritmo discreto de la curva elíptica (criptografía de curva elíptica).
Libros de criptografía
-
Un curso de teoría de números y criptografía, Neal Koblitz
-
Aspectos algebraicos de la criptografía, Neal Koblitz
-
Curvas elípticas: Teoría de números y criptografía, segunda edición (Matemáticas discretas y sus aplicaciones), Lawrence C. Washington
-
Las matemáticas de los cifrados: teoría de números y criptografía RSA, Coutinho S. C., Severino Collier Coutinho
-
Introducción a la criptografía, Richard A. Mollin
-
Introducción a la criptografía con teoría de codificación (2a edición) de Wade Trappe y Lawrence C. Washington (25 de julio de 2005)
-
Manual de criptografía aplicada, Alfred Menezes, Paul van Oorschot, Scott Vanstone
-
Guía de la criptografía de la curva elíptica, Darrel Hankerson, Alfred Menezes y Scott Vanstone
-
Criptografía práctica, Niels Ferguson, Bruce Schneier
También ten en cuenta que también existe el campo del criptoanálisis, que se enfoca más en estadísticas y teoría de probabilidad.
Puede que quieras echar un vistazo al Curso Abierto del MIT sobre Criptografía para obtener más orientación sobre cursos y áreas en las que debes reforzar tus conocimientos.
Aquí tienes algunos apuntes y aquí tienes otro conjunto de apuntes (y también puedes encontrar otros muy buenos en línea basados en matemáticas).
Aquí tienes una lista de áreas temáticas que involucran cripto para tener una idea del alcance.
Para criptoanálisis lee estos por parte de un experto.
Con eso debería ser suficiente para ayudarte a avanzar y para ayudarte a descubrir qué cursos necesitas.
Saludos