La afirmación no es cierta tal y como se ha dicho. De hecho, la función $$f(x) = \begin{cases}1 & \text{if } x = 0 \text{ or } x = 1 \\ 0 & \text{else}\end{cases}$$ es convexo en $[0,1]$ pero ni siquiera continua.
Sin embargo, si añadimos la continuidad (que sólo puede ser violada en los puntos finales), la afirmación es verdadera, aquí hay un (breve) esbozo de una posible prueba.
Dejemos que $\varepsilon > 0$ se le dará. Entonces, por continuidad en los puntos extremos y convexidad de $f$ (lo que implica cierta monotonía alrededor de los puntos finales), hay $\delta > 0$ , tal que la suma de las diferencias de valores de las funciones en $[a, a+\delta]$ y $[b-\delta,b]$ es menor que $\varepsilon$ si los subintervalos suman menos de $\delta$ . En el intervalo restante se puede argumentar por la continuidad de Lipschitz.