Una cosa que hay que tener en cuenta es que, aunque tienes un sistema de dos ecuaciones, como cada una es una ecuación de segundo orden, tienes un sistema de cuarto orden. Eso significa que el espacio de fase es 4D, por lo que las separatrices son variedades 3D en el espacio 4D, y las órbitas son variedades 1D (curvas) en el espacio 4D. Se pueden proyectar las órbitas en el plano, pero pierden su propiedad de no auto-intersecarse. Por lo tanto, la mayor parte de las matemáticas que se emplean en esto no pueden visualizarse, por lo que incluso los osciladores acoplados más sencillos pueden suponer un verdadero reto desde el punto de vista matemático. La mayor parte de la teoría sobre estas cosas se ha desarrollado en los últimos 50 años aproximadamente, así que tenlo en cuenta cuando leas esto. También hay que tener en cuenta que soy un matemático que estudia la dinámica, no un físico ni un ingeniero, así que aunque tengo experiencia con métodos numéricos, mi formación es en métodos analíticos y teóricos.
Para la mayoría de los sistemas fuertemente no lineales, la numérica es la única manera (actualmente) de determinar con precisión el comportamiento, especialmente con respecto a varios parámetros. Para variar los parámetros, solemos recurrir a la teoría de la bifurcación. Para un conjunto dado de parámetros, podemos identificar las cuencas de atracción, que son los regímenes de CI en los que el sistema tiende a cada comportamiento. Los límites entre estos regímenes se denominan separatrices (singular: separatrix), o colectores invariantes. En los sistemas autónomos, estas manifiestas son bonitas y simples (es decir, no son fractales) y cada cuenca es un dominio conectado (dos CI en el mismo régimen siempre tienen una curva que los conecta por completo en el régimen).
Así, lo que podemos hacer para reducir el ensayo y error a cantidades razonables es tratar de encontrar los puntos fijos y su comportamiento linealizado, aproximar las separatrices para obtener un espacio particionado, y luego elegir algunos CI de muestra dentro de cada partición para tratar de determinar el comportamiento del sistema en ese régimen. Es posible que encuentres algunos puntos que generalmente se mueven a puntos fijos, otros que se mueven a órbitas periódicas, otros que se mueven a órbitas cuasiperiódicas y otros que se mueven al caos. Dentro del régimen en el que se produce un ciclo, debe haber algún punto fijo. Se puede transformar ese punto fijo al origen, y luego obtener el sistema de amplitud/fase suponiendo $y_i = r_i \cos(t+\psi_i)$ para $i=1,2$ , y luego utilizar la variación de los parámetros y el promedio para obtener una aproximación del ciclo.
Para el análisis de estabilidad lineal, véase cualquier libro de grado sobre EDOs lineales y no lineales. Los métodos de aproximación para las variedades invariantes suelen venir en forma de algunos métodos de series de potencia, pero puedes buscarlos. Una vez que hayas determinado alguna partición aproximada, sólo tienes que elegir un montón de condiciones iniciales, luego resolver numéricamente las ecuaciones (utilizando, por ejemplo, ode45 con MATLAB) para cada una de las CI y trazar los resultados en el $(y_1,y_2)$ -Avión. Para la variación de los parámetros y el promediado, puedes consultar algunos libros sobre Oscilaciones No Lineales o Métodos de Perturbación, por ejemplo de Ali Nayfeh.