Lo convertiría en un comentario, pero parece ser demasiado largo para eso. Como he sugerido que la pregunta sea un CW, me gustaría que esta respuesta se tratara como un comentario extenso en el que se expresa la opinión personal.
Ya se han dado grandes respuestas, así que sólo quiero dejar claro que la teoría de los sistemas dinámicos en general, y lo que el lector parece estar buscando, son cosas algo diferentes. En primer lugar, la teoría de los sistemas dinámicos es increíblemente vasta (véanse las sugerencias de series de libros de Ian Morris en una de las respuestas). Hay algunas razones para esta inmensidad, las más obvias de las cuales son probablemente las siguientes.
1) Los sistemas dinámicos son un campo que se nutre de muchos ámbitos diferentes (topología, geometría, análisis complejo, real y funcional, álgebra y teoría de números, etc.). Para entender por qué esto es así, considere:
2) Un sistema dinámico, en su sentido más amplio, es una acción de un semigrupo o un grupo sobre un conjunto. Por ejemplo, consideremos $f: \mathbb{R}\rightarrow\mathbb{R}$ dado por, digamos, $f(x) = x/2$ . Tomando el semigrupo $G = \mathbb{Z}_{\geq 0}$ de enteros no negativos, podemos definir una acción sobre $\mathbb{R}$ de la siguiente manera: $k\in G$ actúa sobre $x$ a través de $kx = f^k(x)$ donde $k$ denota $k$ -composición doble de $f$ con ella misma. Como $f$ es invertible, podemos considerar la acción del grupo $\mathbb{Z}$ en $\mathbb{R}$ a través de $kx = f^k(x)$ , donde si $k < 0$ entonces $f^k$ denota $k$ -composición doble de la inversa de $f$ con ella misma. Las cuestiones interesantes empiezan a aparecer cuando el conjunto sobre el que se define la dinámica (acción de un grupo) lleva algo más que una estructura de conjunto; digamos un espacio topológico, o algún tipo de estructura algebraica, como un módulo o un anillo o un campo, o una estructura suave, como un colector suave, o una estructura analítica, como un colector analítico-complejo, o un medible. En este caso, las acciones más interesantes de considerar son las que preservan la estructura (por ejemplo, $f$ es un homeomorfismo, un difeomorfismo (analítico) y un isomorfismo cuando $\mathbb{R}$ se considera un espacio topológico con la topología euclidiana habitual, un colector (analítico) o un campo algebraico, respectivamente. Entonces cabe plantear las siguientes preguntas: ¿cuál es la estructura (en términos de la estructura que lleva el espacio) de las órbitas? Por ejemplo, ¿hay órbitas densas? ¿Periódicas? ¿Cuántas órbitas periódicas de un período determinado hay? ¿Cómo crece el número de órbitas periódicas en función del periodo?
La teoría moderna de los sistemas dinámicos puede dividirse en áreas según la "estructura" del espacio en el que se considera la dinámica: dinámica topológica, dinámica algebraica/aritmética, dinámica suave, dinámica holomórfica y teoría ergódica (consideradas, respectivamente, en espacios topológicos, espacios algebraicos como campos numéricos, colectores suaves, colectores analíticos en los que la mayoría de las veces la acción viene dada por un mapa racional, es decir, un cociente de polinomios, y espacios medidos en los que la acción suele preservar la medida y satisfacer algunas otras condiciones técnicas. y espacios medidos en los que la acción es típicamente preservadora de la medida y satisface algunas otras condiciones técnicas). Por supuesto, todos ellos pueden cruzarse. La teoría moderna se ocupa de los siguientes problemas (relacionados):
(1) Investigación de sistemas dinámicos específicos como fuente de ejemplos interesantes, o búsqueda de ejemplos de determinados fenómenos dinámicos;
(2) Clasificación: clasificar los sistemas dinámicos hasta una cierta equivalencia bastante natural (he aquí un ejemplo para los sistemas topológicos: http://en.wikipedia.org/wiki/Topological_conjugacy ). Este programa es enorme y los problemas aquí son muy difíciles;
(3) En relación con (2), buscar invariantes (propiedades que son preservadas por la equivalencia de (2)). Hay dos conjuntos de invariantes: completos e incompletos. Un invariante completo es una propiedad tal que si dos sistemas dinámicos tienen esta propiedad, son necesariamente equivalentes, y un invariante incompleto es una propiedad que comparten dos sistemas dinámicos equivalentes, pero no es un invariante completo.
(4) Estudio de objetos invariantes. Como ejemplo, volvamos al ejemplo $f$ actuando sobre $\mathbb{R}$ desde arriba. Observe que $f(0) = 0$ . Esto demuestra, en particular, que el conjunto $\{0\}$ es invariable bajo $f$ . Obsérvese también que para cada $x\in\mathbb{R}$ , $f^n(x)\rightarrow 0$ como $n\rightarrow\infty$ . En este caso el punto $0$ (o el conjunto $\{0\}$ se llama atractor. En general, dado un sistema dinámico y un subconjunto del espacio sobre el que actúa el sistema que es invariante, se quiere estudiar la estructura de este conjunto en términos de la estructura del espacio ambiente (por ejemplo, la topología de los conjuntos invariantes en la dinámica topológica), así como la dinámica del sistema dinámico cuando se restringe al conjunto invariante. Obsérvese que esto también incluye la teoría de la dimensión (que se ha mencionado anteriormente).
Supongo que los sistemas dinámicos por los que sientes curiosidad son los que surgen como ecuaciones diferenciales ordinarias y parciales, en cuyo caso se trabaja con una acción de un grupo continuo sobre algún espacio de la categoría suave (o analítica) (colectores). Ciertamente, el campo aquí es enorme (de hecho, el desarrollo sistemático de los sistemas dinámicos comenzó como estudio de ciertas ecuaciones diferenciales que modelan las órbitas planetarias). Algunas de las cuestiones más importantes en este ámbito son las siguientes $N$ -problemas corporales ( http://en.wikipedia.org/wiki/N-body_problem ), las ecuaciones de Navier-Stokes ( http://en.wikipedia.org/wiki/Navier%E2%80%93Stokes_equations ) y en general, como ya se ha mencionado anteriormente, diferentes tipos de EDOs y EDPs que surgen como modelos en biología, física, informática, etc (en física en particular, abundan las ecuaciones de onda ( http://en.wikipedia.org/wiki/Wave_equation ), como la ecuación de Schroedinger de la mecánica cuántica).
También surgen en la mecánica cuántica y estadística los sistemas dinámicos en espacios de dimensiones infinitas (espacios de Hilbert). En este caso, la dinámica puede venir dada por la acción de un operador unitario en un espacio de Hilbert, como la solución de la ecuación de Schrodinger. En este caso, las técnicas suelen ser principalmente diferentes a las del caso de dimensión finita (por ejemplo, en una variedad de dimensión finita).
En general, el campo de la física matemática es enorme, y los sistemas dinámicos no son ciertamente ajenos a la física matemática. Algunas de las áreas de la física matemática en las que los sistemas dinámicos surgen de forma natural son la mecánica estadística (aquí prevalecen la dinámica medible y la teoría ergódica); la mecánica clásica y la relatividad general (la dinámica newtoniana modelada por un sistema de EDOs y los sistemas de EDP de la relatividad) la mecánica de fluidos (el problema principal son las ecuaciones de Navier-Stokes), que estudia la dinámica de los fluidos (o gases) compresibles e incompresibles en un entorno determinado, modelada por (un sistema de) EDEs; la mecánica cuántica y la teoría espectral (dinámica de dimensión infinita dada por operadores unitarios que actúan en espacios de Hilbert); la mecánica ondulatoria (ecuaciones de onda, dadas por (un sistema de) EDEs).
Espero que esto ayude.