Alan Schoenfeld ha escrito bastante sobre la resolución de problemas matemáticos; puede que le interesen algunos de sus trabajos. Esta pregunta en particular entra en la categoría de lo que él llamaría "decisiones de control". La cuestión no es sólo cuánto tiempo se dedica a un problema matemático, sino también cuánto tiempo se dedica a un enfoque concreto al intentar resolver dicho problema.
Schoenfeld también escribe sobre las creencias, y cómo muchos estudiantes piensan que los problemas de matemáticas deben resolverse rápidamente o no deben resolverse. Esta es (como se puede adivinar) una creencia que se asocia negativamente con el rendimiento en la resolución de problemas matemáticos.
Mi consejo es que pruebes diferentes estrategias cuando estés estancado. George Polya tiene una larga lista de estrategias ("heurísticas") para la resolución de problemas, entre las que se incluyen: probar un caso especial; probar un problema más sencillo; probar un problema similar; generalizar; hacer un dibujo. Por cada pregunta que no puedes resolver, hay una pregunta un poco más fácil que tampoco puedes resolver. Intenta hacer cosas hasta que consigas una cierta tracción y tengas una mejor idea de cómo abordar el problema en cuestión.
En cuanto al tiempo dedicado: no dejes que tus notas se resientan demasiado, ya que esto probablemente te llevará a consecuencias indeseables más adelante. La cantidad de tiempo que dedico a un problema depende del motivo por el que intento resolverlo. Si es sólo por diversión, entonces trabajo en él cuando tengo tiempo libre; a menudo se necesita un periodo de incubación (una pausa en el trabajo) antes de tener una idea importante. Si se trata de un problema planteado para una clase o tal vez para un examen para llevar a casa, entonces probablemente debas dedicarle más tiempo (aunque los descansos siguen siendo necesarios).
La persistencia y la curiosidad son características importantes para cualquier estudiante de matemáticas o matemático, pero no pierdas la concentración y dejes que tu nota del curso se resienta demasiado por ello. (Y en cuanto a tus compañeros que parecen resolver las cosas mucho más rápido: no les hagas caso).