Para que la ecuación tenga solución, sus matrices $M_1$ y $M_2$ debe necesariamente conmutar. Este sería sólo un requisito. Para ver esto, consideremos el caso de la diagonalizable $M_2$ para que $ PM_2P^{-1} = D$ para algunos invertibles $P$ y la diagonal $D$ .
\begin{align} P\left(\lambda^2 I_N + \lambda M_1 + M_2 = 0_N\right)P^{-1} \\ \lambda^2 I_N + \lambda PM_1P^{-1} + D = 0_N \end{align}
Aquí podemos ver que $M_1$ no sólo debe tener el mismo espectro que $M_2$ (ya que, de lo contrario, los elementos no nulos de la diagonal no se cancelarían en la suma), pero debe tener los valores propios adecuados, de manera que el único $\lambda$ resuelve simultáneamente para cada término diagonal.
tl:dr: resolver para $\lambda_1$ y $\lambda_2$ en cualquier coordenada deseada. Compruebe si alguno de los dos funciona globalmente. Si no es así, entonces no hay solución.