Yo tenía la intención de hablar de Arnold del libro, que fue mencionado por @Frank de la Ciencia. Este es un libro maravilloso, pero requiere de un poco de madurez en matemáticas a seguir. Estoy tratando de escribir esto como una respuesta de la última línea de su pregunta.
Puede alguien sugerir un libro de matemáticas que se dedica a la enseñanza de todas las matemáticas que se utiliza en la física?
Es imposible conocer todos los aspectos de las matemáticas que tiene algún uso en la física. Por otra parte, las matemáticas libros son generalmente escritos en una cierta manera que alguien de una física de fondo puede encontrar extraño. (Contrario también es cierto. Matemáticas a los estudiantes a encontrar la falta de rigor matemático en la Física textos como muy preocupante.) Es mejor saber y entender los aspectos matemáticos utilizados en el área que usted está estudiando'. Esto le dará la mare de conocimiento acerca de los problemas físicos.
Para sus actuales problemas de álgebra lineal, le sugiero que busque en Hoffman & Kunze. También puede ver las álgebras de Artin. He encontrado este libro muy lúcido y escrito de una manera que es fácil de aplicar para la resolución de problemas prácticos. Un libro de naturaleza similar, es Rudin, el cual debe leer para el análisis.
Después de leer Rudin (y ganando algunos más matemáticas y comprensión de la física) puede intentar Métodos de la Moderna Física Matemática por Michael Reed y Barry Simon (cuatro volúmenes). Este libro no cubre todos los aspectos matemáticos de un físico puede exigir, pero que sin duda contienen una gran sección de útiles. Me gustan las notas finales de cada capítulo, donde el fondo físico motivaciones son explicó. Estos no son muy fáciles de libros.
Las únicas áreas que faltan son (diferencial) de la geometría. Supongo que alguien puede decir acerca de esto mejor que yo. Yo, en general, en Nash y Sen.
Todo lo mejor para su trabajo.