(Estoy convirtiendo esto en wiki comunitaria, ya que la versión original cometía un error evidente).
El resultado se desprende, por ejemplo, del Teorema de Stone-Weierstrass , una vez que se justifica que el límite de algunas integrales es la integral del límite, lo que puede hacerse (de forma exagerada) utilizando la de Lebesgue teorema de convergencia dominada o (más fácilmente) utilizando estimaciones simples a partir del hecho de que $f$ está acotada, ya que es continua.
A continuación te doy todos los detalles, que probablemente no deberías leer hasta después de la fecha de entrega de los deberes, ya que esto también los resuelve.
Spoilers:
Hay una secuencia de polinomios $p_n(x)$ que converge uniformemente a $xf(x)$ en ${}[0,1]$ . Tenemos $\int_0^1xf(x)p_n(x)dx=0$ para todos $n$ por supuesto, ya que $xp_n(x)$ es una suma de monomios cuya integral con $f$ es 0. Ahora toma el límite como $n\to\infty$ para concluir que $\int_0^1x(f(x))^2dx=0$ .
Esto nos da que $f=0$ porque si $f(x_0)\ne 0$ la continuidad garantiza un resultado positivo $\epsilon>0$ y un intervalo $(a,b)$ con $a>0$ tal que $|f(x)|\ge\epsilon$ para todos $x\in(a,b)$ . Pero entonces $\int_0^1xf(x)^2dx\ge la\epsilon^2>0$ , donde $l=b-a$ es la longitud del intervalo.
Para ver que el límite de las integrales es 0 sin utilizar la convergencia dominada, pongamos $M\ge|f(x)|$ para todos $x\in[0,1]$ . El, para cualquier $\delta>0$ , si $n$ es lo suficientemente grande, tenemos $$\int_0^1f(x)xp_n(x)dx=\int_0^1f\times(p-xf+xf)dx=\int_0^1xf(x)^2dx+\int_0^1f\times(p-xf)dx,$$ y la segunda integral está limitada por $\int_0^1|f||p-xf|dx\le M(\delta/M)=\delta$ .
De hecho, incluso este enfoque es excesivo. (Por ejemplo, el teorema de Müntz da un hecho más general, como ya se ha mencionado en otra respuesta).
(Disculpas por el error original).