Este es un lugar donde los físicos y matemáticos formularían la pregunta de manera diferente. Un matemático diría que $d \theta /dx$ no está definido en $0$ y que $ \delta $ no es una función. Sin embargo, como dice Mariano, la afirmación es cierta "en el sentido de las distribuciones".
¿Qué significa eso? Una distribución es un gadget que toma como entrada una función suave $g(x)$ que es cero para $|x|$ suficientemente grande, y devuelve algún número real. Cuando pensamos en una función ordinaria como una distribución, eso nos hace pensar en $f$ como corresponde al gadget $F: g \mapsto \int f(x) g(x) dx$ . Noten que el cambio $f$ en un número finito de puntos deja $F$ inalterado. Desde un punto de vista físico, si $f$ es algo así como el valor de un campo eléctrico en un punto, nunca sabríamos si tiene una discontinuidad finita en algún momento, así que el aparato $F$ captura todo lo que es físicamente medible sobre $f$ .
Ahora bien, ¿cómo podemos ver la diferenciación en términos de distribuciones? Mediante la integración por partes, tenemos $ \int f'(x) g(x) dx = - \int f(x) g'(x)$ . Así que, para cualquier distribución $F$ definimos el derivado de $F$ para ser el aparato $g \mapsto -F(g')$ .
Ahora, dejemos $F$ corresponden a $ \theta $ así que $F(g) = \int_ {- \infty }^0 g(x) dx$ . La distribución del delta del Dirac es $ \delta (g) = g(0)$ . Te dejo que demuestres que $F'(g) = \delta (g)$ con las definiciones anteriores.
Tendría curiosidad por ver cómo respondería un físico a esta pregunta. Sospecho que he actuado como un francés .