Esos infinitos pueden significar la ruptura de la teoría. Las predicciones de la radiación del cuerpo negro utilizando la teoría clásica dicen que un cuerpo negro irradiará una cantidad infinita de energía. Significa que la teoría se rompe, y sólo se ha podido explicar correctamente con la teoría cuántica.
Para la Relatividad General (RG) es la misma situación. En las verdaderas singularidades (no en las singularidades de coordenadas que se transfieren bajo un cambio de coordenadas, como los horizontes de los agujeros negros, que no son el mismo problema, aunque como tienden a ocultar las singularidades quizás también signifique algo útil para cuantificar la gravedad) algunos de los valores de curvatura escalar se volverán infinitos, y como escalar esto no puede ser fijado con una transformación de coordenadas. Necesitamos una teoría de la gravedad cuántica para explicar las singularidades de los agujeros negros. O algo así.
Pero en la RG no es simplemente eso, sino que también significa que el espaciotiempo donde existe esa singularidad es incompleto - en la singularidad las geodésicas simplemente terminan. Si estás viajando en una, y te las arreglas para seguir siendo algo mientras te acercas a la singularidad, en un tiempo propio muy corto y finito tu línea del mundo terminará. Como suelen hacer en la palma de la mano, pero esto sería real, si existiera. Bueno, eso no es tan malo porque nadie es tan estúpido como para ir allí.
Pero tiene otras implicaciones físicas en ese espaciotiempo. También dice que el espaciotiempo no es predecible, que allí se viola la causalidad. Y si las geodésicas terminan a-causalmente en la singularidad, cualquier cosa podría también salir de la singularidad, y extenderse sobre ese espaciotiempo. Simplemente no sería causalmente seguro. Podría salir un dragón o tus antepasados de 10.000 años montados en un cohete. Ese espaciotiempo se vuelve acausal.
Está causalmente desconectada del espaciotiempo fuera del agujero negro debido al horizonte, por lo que nada de eso supone una diferencia en el exterior. Pero si hubiera un agujero negro sin horizonte, entonces todo el espaciotiempo conectado sería acausal. Tal singularidad se llama una singularidad desnuda. Hay un principio de censura que dice que no hay singularidades desnudas. Es una conjetura, no probada matemáticamente, de vez en cuando alguien encuentra una solución posible pero bastante extraña y típicamente considerada no plausible físicamente de las ecuaciones de la RG, con una singularidad desnuda.
Sigo estando de acuerdo con @CuriousMind, las singularidades reales probablemente no existen. Pero sí significa que las teorías más conocidas actualmente no pueden estar bien, que tiene que haber una solución a los problemas de singularidad, probablemente con una teoría de gravedad cuántica aún desconocida.
Espero que ahora no te preocupes demasiado si no vives en un espacio-tiempo causal. Pero si eso te impulsa a encontrar la solución, bien por la física.