Estoy más con Dilaton que con John Rennie y creo que la respuesta es bastante obvia, pero deberías tener en cuenta que un pensador mucho más importante que yo no piensa lo mismo: véase El famoso artículo de Wigner .
Ahora que ya está advertido: en pocas palabras, las matemáticas pueden considerarse como el idioma que uno debe hablar de forma natural cuando probando describir algo objetivamente y sin prejuicios. Los seres humanos tenemos muchos prejuicios: nuestros sentidos y, sobre todo, nuestros cerebros han evolucionado en unas condiciones muy específicas, las de las sabanas húmedas de finales del neógeno / principios del cuaternario de África Oriental, para reconocer y reaccionar ante los patrones que encontramos allí y hacerles frente. Se trata de un conjunto de patrones muy específicos y restringidos, poco representativos del mundo en su conjunto que la física pretende describir y estudiar. Necesitamos alguna forma de superar los prejuicios que nos impone una educación tan "protegida" y "restringida".
Una de las formas de hacerlo es mediante la abstracción, en el sentido de eliminar todos los detalles superfluos de los problemas que se nos plantean en física. Hemos comprobado "experimentalmente" que parece haber repetibilidad y fiabilidad en el pensamiento y la descripción lógicos, al reducir las cosas a conjuntos de conceptos indivisibles (axiomas) y luego deducir a partir de ellos. Estas dos acciones de abstracción/ axiomatización seguidas de deducción son, a grandes rasgos, lo que son las matemáticas. Si a esto añadimos una tercera acción: la comprobación de nuestras deducciones mediante la experimentación, tenemos la física. Las matemáticas y la física no son muy diferentes en muchos aspectos. Tanto los matemáticos como los físicos parecen resistirse a esta idea, pero nunca he entendido por qué. Uno es el lenguaje del otro. Si uno quiere meterse en la cabeza de Goethe, sería tonto si no estudiara alemán a fondo; lo mismo ocurre con la física y la necesidad de estudiar matemáticas.
Curiosamente, la idea de despojarse de detalles superfluos y ver a qué conducen los huesos desnudos de una descripción -una forma de pensar con la que estoy seguro de que muchos físicos pueden identificarse- recibió un nombre especial y fue llevada hasta sus últimas consecuencias para crear campos completamente nuevos por un matemático - Esta fue la "Begriffliche Mathematik" (Matemática Conceptual) de Emily Noether que dio origen a grandes extensiones del álgebra moderna, empezando por la teoría ideal en anillos. La única diferencia entre este tipo de creación y el de las teorías físicas es que en este último caso estamos obligados a comprobarlas con experimentos, lo que limita los caminos que puede seguir la deducción.
Muchos de los sistemas de axiomas de las matemáticas se basan en ideas muy físicas, aunque no sea tan evidente. Gran parte de las matemáticas abstractas se crean para "rellenar" ideas intuitivas sobre el mundo físico: un buen ejemplo de ello es la teoría de las distribuciones para sentar una base rigurosa sobre la que debatir ideas como la función delta de Dirac, la idea de un pulso fugazmente corto e inmensamente intenso. Se pueden rastrear incluso las ideas matemáticas más abstractas y enrarecidas hasta las reflexiones últimas del mundo físico. El ejemplo que me gusta es el de la noción matemática de compacidad y un conjunto compacto - uno para el cual cada cubierta abierta tiene una subcubierta abierta finita. ¿Seguro que ésta no es una idea del mundo físico? En realidad, esta noción fue la última de muchas iteraciones de intentos de precisar qué había en los números reales que dio lugar a la idea física / geométricamente intuitiva de continuidad uniforme. Existen varias definiciones, sobre todo aquellas en las que compacto significa esencialmente "que tiene la propiedad Bolzano-Weierstass" en los años 30, hasta que en los años 40 se adoptó la idea moderna (propuesta en 1935 por Alexandroff y Hopf). Es un buen ejemplo de cómo el pensamiento lógico aclara las ideas iniciales. Todo el análisis real proviene, en última instancia, de intentar precisar la idea intuitiva de una línea continua sin "huecos". Estas ideas proceden de nuestros sentidos y de nuestra intuición del mundo que nos rodea, pero no siempre son fiables. Las matemáticas nos ayudan a clarificar esas intuiciones y a separar lo fiable de lo engañoso; de nuevo, nos ayudan a superar los prejuicios del animal de la sabana húmeda.
Nota: Yo publicaría esta pregunta en Philosophy SE, donde hay algunos pensadores excelentes que también son matemáticos y físicos. En concreto, me atrevería a invitar al usuario @NieldeBeaudrap a echar un vistazo: Neil es un investigador de la información cuántica que escribe allí artículos muy interesantes y reflexivos.
Otra nota a pie de página: los lectores deben ser advertidos de que soy lo que mucha gente llamaría bastante raro en la medida en que suscribo en gran medida el Tegmark Hipótesis del universo matemático .