La respuesta de @MauroGiliberti es genial, pero nosotros trabajamos con discontinuidades en la física como respuesta aquí dice. De hecho, en la relatividad general se realizan muchos análisis cuidadosos y rigurosos, ya que allí surgen fácilmente problemas de suavidad/singularidad.
Sin embargo, la física newtoniana es muy intuitiva y fácil. No se trata de entidades matemáticas aleatorias, sino de entidades que describen el mundo real.
Por ejemplo, la caída de una roca desde la altura $h_0$ . La ecuación del movimiento es $md^2h/dt^2=F,$ donde F es la fuerza. ¿Es necesario demostrar que $h$ es dos veces diferenciable en todas partes y que $F$ ¿es la función? Por supuesto que no, ya que sabemos cómo se supone que se comporta el sistema. Y no es dos veces diferenciable en todas partes (y la fuerza no es de hecho función), ya que el movimiento de la roca es descrito por esta función: $$h(t)=\left(h_0-\frac{1}{2}gt^2\right)H(\sqrt{2h_0/g}-t),$$ donde $H$ es la función de paso del lado pesado.
Por el mecanismo de la gravitación sabemos que antes de que la roca toque el suelo, se supone que el sistema se comporta bien y también sabemos lo que ocurre cuando la roca toca el suelo. Por ello, nunca se ve un análisis como este en una clase de física, donde se utiliza una función de paso discontinua de lado pesado en la solución a la simple caída de la roca.
Nunca me han pedido que compruebe si la función que estoy analizando está definida en todas partes
¿Por qué habría que definirlo en todas partes? Cuando analizas la onda, te preocupas por lo que observas. No te importa lo que ocurre con esta onda en el otro lado del universo. Por lo tanto, es mejor que el cálculo sea independiente de lo que ocurre allí.
El físico sólo tiene alguna idea sobre el mecanismo de cómo se supone que funciona el universo, y tiene alguna comprensión intuitiva de por qué las matemáticas que utiliza se supone que lo representan correctamente. Entonces puede suponer que las funciones se comportan bien, como exige la física. A veces incluso utiliza las matemáticas de forma incorrecta a sabiendas, porque puede tener razones para pensar que esta manipulación incorrecta sí representa el mecanismo que tiene en mente.
Luego sólo comprueba si los resultados coinciden con los experimentos. Si lo hacen, creará trabajo para muchos matemáticos que intentan dar algún sentido a lo que hizo. Y no siempre tienen éxito. Tomemos como ejemplo la física estadística. Tiene 100 años, ha producido una enorme cantidad de pruebas de que funciona, pero los matemáticos siguen luchando por demostrar que los cálculos son, de hecho, consecuencia de las leyes conocidas de la física.