No estoy seguro de poder publicar todos los enlaces que me gustaría (todavía no tengo suficientes "puntos de reputación"), pero intentaré señalar las principales referencias que conozco.
Matilde Marcolli tiene un bonito artículo titulado " Teoría de los números en física " explicando los diversos lugares de la Física donde aparece la Teoría de Números.
[Tangencialmente, hay un artículo de Christopher Deninger titulado " Algunas analogías entre la teoría de números y los sistemas dinámicos en espacios foliados " que puede abrir algunas ventanas en este tema: al fin y al cabo, los Sistemas Locales están en la base de gran parte de la Física moderna (formulaciones de paquetes, etc)].
Hay un sitio web llamado " Archivo de teoría de números y física " que contiene una amplia colección de enlaces a obras en esta interfaz.
Sir Michael Atiyah acaba de dar un hablar (la semana pasada) en la Conferencia Inaugural del Centro Simons, hablando de la reciente interacción entre la Física y las Matemáticas. Y culminó su charla especulando sobre la conexión entre la Gravedad Cuántica y la Hipótesis de Riemann. Se suponía que iba a dar una charla en la IAS sobre este último tema, pero se canceló.
Para terminar, permítanme traer el Dualidad de Langlands a la mesa: está relacionado con las Formas Modulares y, un tal, la Teoría de Números. (Versión cavalier: Piensa en la Integral de Trayectoria de QFT como si tuviera una simetría de Möbius con respecto a las constantes de acoplamiento en el Lagrangiano).
Una vez sacado esto del camino, creo que el mejor ángulo para ver la conexión entre la Teoría de Números y la Física es pensar en el problema de la física de una manera diferente: pensar en los puntos críticos en el Potencial y lo que significan en el Espacio de Fase (flujo Hamiltoniano y/o Geodésico: Jacobi convirtió uno en otro; piense en los campos de Jacobi en la Geometría Diferencial), piense en cómo se desarrolla esto en la QFT, piense en los Espacios de Módulos y su conexión con lo anterior. Así es como yo veo este marco... ;-)