No has hecho nada malo, sólo has resuelto un problema diferente. Resolviste el problema donde la masa $m_2$ es libre tras el impacto de elevarse a cualquier altura. Como si se soltara en una rampa tras el impacto.
Y efectivamente para este otro problema, la altura máxima que se puede alcanzar es
$$ h = \left( \tfrac{m_1}{m_1+m_2} \right)^2 4 \ell $$
Esto significa que cuando $m_1 > (\sqrt{2}-1) m_2$ la altura resultante es $h> 2 \ell$ .
Pero este problema requiere una comprensión de su cinemática. Es decir, el estudio de todos los movimientos disponibles. Como las masas están sujetas a varillas y sólo pueden moverse en arcos, la descripción de su posición mediante una variable de altura $h$ es una elección problemática porque $h$ está limitado a estar en un arco.
Si utilizas el ángulo que forma la masa con la vertical $\theta_2$ entonces se puede atribuir la velocidad horizontal tras el impacto a una velocidad de rotación de $$ \omega_2 = \frac{v_2}{\ell}$$
La diferencia aquí es que la energía cinética no es $KE = \tfrac{1}{2} m_2 v^2$ sino más bien
$$ KE = \tfrac{1}{2} m_2 \ell^2 \omega_2^2 $$
y la energía potencial depende de la altura $h = L (1- \cos \theta_2)$ todavía
$$ PE = m_2 g L (1- \cos \theta_2)$$
Si lo combina todo, encontrará en la parte superior del columpio, cuando $\theta_2 = \pi$ que la velocidad de rotación es
$$\omega_2 = \sqrt{ \frac{v_2^2}{\ell^2} - \frac{4 g}{\ell} } $$
Como la parte dentro de la raíz cuadrada no puede ser negativa, significa que cuando $v_2 > 2 \sqrt{\ell g}$ el sistema seguirá teniendo una velocidad en la parte superior de la oscilación. Esto es coherente con el resultado anterior, ya que $v_2$ depende de la relación de masas.
Puedo ir un paso más allá y describir el ángulo máximo alcanzable como
$$ \cos \theta_2 = 1 - \frac{v_2^2}{2 g \ell } = 1 - 4 \left( \tfrac{m_1}{m_1+m_2} \right)^2 $$
En resumen, la física consiste en comprender los supuestos y limitaciones de los conceptos y fórmulas que se aprenden y identificó correctamente un resultado poco razonable que le llamó la atención .
Desgraciadamente, no te habían introducido en el concepto de cinemática (aparte de los movimientos parabólicos), supongo. Soy un gran defensor de la enseñanza de la cinemática en la escuela secundaria, ya que tiende un puente entre la geometría y la física.
En un principio, pensé que la pregunta estaba fuera de lugar, pero creo que sí lo está porque requiere comprender conceptos que quizá no le resulten familiares.
