Hay otras versiones del teorema fundamental del Cálculo que están en línea con lo que escribiste. Algunas requieren extensiones a la integración de Riemann, que van más allá del alcance de una clase de Cálculo de primer año en la universidad. La extensión más común en matemáticas es integración de Lebesgue, también hay una extensión menos común pero igualmente útil, llamada integración por calibre desarrollada de forma independiente por varias personas: Denjoy, Henstock-Kurzweil y otros.
En la integración de Lebesgue, estos son principalmente dos resultados:
Teorema 1L. Si $F:[a,b]\rightarrow\mathbb{C}$ es absolutamente continua, entonces $F'$ existe casi en todas partes con respecto a $\lambda$, es integrable (en el sentido de Lebesgue) sobre $[a,b]$, y $$ F(x)-F(a)=\int^x_a F'(t)\,dt, \quad a\leq x\leq b. $$
Teorema 2L. Sea $F:[a,b]\rightarrow\mathbb{C}$ continua. Si $F$ es diferenciable en $[a,b]$, con la excepción de un conjunto numerable de puntos, y $F'$ es integrable (en el sentido de Lebesgue, sin importar el conjunto de puntos excepcionales donde $F'$ no está definido) entonces, $$ F(x)-F(a)=\int^x_a F'(t)\,dt,\quad a\leq x\leq b. $$
Para la integral de Henstock, hay una versión similar al Teorema 2 anterior
Teorema 2H: Supongamos que la función $F$ es continua y diferenciable en todo punto excepto en una colección numerable de puntos en $[a,b]$. Entonces su derivada $F'$ es integrable (en el sentido de Henstock-Kurzweil) en $[a,b]$, y $$ F(x)-F(a)=\int^x_a F'(t)\,dt,\quad a\leq x\leq b. $$
Los Teoremas 1L, 2L se estudian en cursos de integración de Lebesgue. Una buena fuente a nivel de pregrado es el libro de Análisis Real de Stein y Shakarchi.
Un buen lugar para el estudio de este tipo de integral es el libro de Bartle "Teoría moderna de la integración". Este tipo de integración se puede hacer de manera similar a la integración de Riemann.