La definición de una solución de forma cerrada, en particular lo que la gente acuerda llamar una función "elemental", está determinada culturalmente. Una determinada solución a un problema puede expresarse como una serie, o una integral, o algún otro límite, hasta que su uso frecuente hace que merezca la pena tener un nombre estándar. Así es como los logaritmos naturales se aceptaron como "elementales". Y dependiendo de tu campo de especialización, podrías aceptar o no los armónicos esféricos como funciones elementales. Mi favorita es la función "hiperradical" que mapea un número real $a$ a la única raíz real del polinomio $x^5+x+a.$ El polinomio general de quinto grado es resoluble en términos de operaciones algebraicas más la función hiperradical.
La enciclopedia original de Diderot y d'Alembert describe el debate sobre la definición de la palabra "curva". Tradicionalmente, dice el artículo, sólo se dice que las ecuaciones algebraicas describen curvas; pero esa definición no satisface a quienes se interesan, por ejemplo, por las espirales. Nosotros (es decir, presumiblemente d'Alembert) tendemos a suscribir ese punto de vista y aceptamos las ecuaciones diferenciales para definir también las curvas propiamente dichas. Sustituyendo la palabra "función elemental" por "curva propia", tenemos un debate muy similar.
Mi respuesta a tu pregunta, pues, es: los problemas y las soluciones se expresan tradicionalmente de forma cerrada si y sólo si un número suficiente de personas se interesa por ellos durante un periodo suficientemente largo. Se podría resumir en el adjetivo "fácil", pero para mí no cubre toda la historia.
Por cierto, el artículo de la Wikipedia está muy sesgado hacia el cálculo, pero problemas similares de definición surgen en la matemática discreta.