¿no debería aumentar siempre la entropía cuando un sistema se vuelve caótico? [...] Me interesa la relación entre la entropía y la 2ª ley en concreto.
En realidad no, porque si un sistema se vuelve caótico, no es aislado y la segunda ley de la termodinámica sólo se aplica a los sistemas aislados.
En detalle:
- Para que un sistema convertirse en caótica, es decir, para que cambie su dinámica de una que no exhibe caos a una que sí, debe pasar por un cambio fundamental, un bifurcación lo que suele ocurrir cuando uno de sus parámetros cambia de valor.
Por ejemplo, el mapa logístico , $x' = ax(1-x)$ es regular para $a=2$ pero caótico para $a=4$ .
Si consideramos que el sistema no es un sistema nuevo, diferente (después de todo, $2x(1-x)$ es diferente de $4x(1-x)$ ), sino el mismo sistema, entonces esto implica que tuvo lugar algún tipo de acción externa - porque no fue la dinámica intrínseca del sistema la que cambió el valor de $a$ - es decir, ha habido algún tipo de interacción con el entorno/otro sistema.
- Ahora bien, la Segunda Ley de la Termodinámica establece que, en los sistemas aislados, la entropía total no puede disminuir con el tiempo - No dice nada de los sistemas no aislados.
En este sentido, la pregunta puede considerarse mal planteada.