Aquí hay una versión clarificada de tu demostración. (De hecho, fue parte de mi solución original, pero la modifiqué siguiendo tu idea).
Paso 1. Estimación de $xf(x)$
Sea $t = \sqrt{u}$. Entonces
\begin{align*} xf(x) &= x\int_{x}^{x+1} \sin (t^2) \, dt = x \int_{x^2}^{(x+1)^2} \frac{\sin u}{2\sqrt{u}} \, du \\ &= x \left[ \frac{1-\cos u}{2\sqrt{u}} \right]_{x^2}^{(x+1)^2} + x \int_{x^2}^{(x+1)^2} \frac{1-\cos u}{4u^{3/2}} \, du \end{align*}
Dado que
\begin{align*} x \left[ \frac{1-\cos u}{2\sqrt{u}} \right]_{x^2}^{(x+1)^2} &= \frac{x}{2} \left(\frac{1-\cos\big((x+1)^2\big)}{x+1} - \frac{1 - \cos\big(x^2\big)}{x} \right) \\ &= \frac{1}{2} \left(\cos \left( x^2 \right) - \cos\left((x+1)^2\right) \right) - \frac{1 - \cos\left((x+1)^2\right)}{2(x+1)} \\ &= \sin \left(x+\frac{1}{2}\right)\sin\left(x^2+x+\frac{1}{2}\right) - \frac{1 - \cos\left((x+1)^2\right)}{2(x+1)}, \end{align*}
tenemos
$$xf(x) = \sin \left(x+\frac{1}{2}\right)\sin\left(x^2+x+\frac{1}{2}\right) - \frac{1 - \cos\left((x+1)^2\right)}{2(x+1)} + x \int_{x^2}^{(x+1)^2} \frac{1-\cos u}{4u^{3/2}} \, du. $$
Es fácil observar que
$$ - \frac{1 - \cos\left((x+1)^2\right)}{2(x+1)} + x \int_{x^2}^{(x+1)^2} \frac{1-\cos u}{4u^{3/2}} \, du = O\left(\frac{1}{x}\right). $$
De hecho, sigue de la estimación
\begin{align*} \left| x \int_{x^2}^{(x+1)^2} \frac{1-\cos u}{4u^{3/2}} \, du \right| &\leq x \int_{x^2}^{(x+1)^2} \frac{\left| 1-\cos u \right| }{4u^{3/2}} \, du \\ &\leq x \int_{x^2}^{(x+1)^2} \frac{1}{2x^3} \, du \leq \frac{2x+1}{2x^2} = O\left(\frac{1}{x}\right). \end{align*}
Paso 2. Evaluación del límite superior y el límite inferior
La estimación anterior en particular implica que
$$ \limsup_{x\to\infty} xf(x) = \limsup_{x\to\infty} \sin \left(x+\frac{1}{2}\right)\sin\left(x^2+x+\frac{1}{2}\right)$$
y lo mismo para el límite inferior. Para encontrar el límite superior, notamos a partir de la identidad anterior que
$$\limsup_{x\to\infty} xf(x) \leq 1. $$
Afirmamos que de hecho es 1. Para ello, es suficiente encontrar una subsecuencia $(x_n)$ tal que $x_n \to \infty$ y
$$ \sin \left(x_n +\frac{1}{2}\right)\sin\left(x_n^2+x_n+\frac{1}{2}\right) \to 1. $$
Sea $x = \sqrt{2\pi k}$. Entonces tenemos
$$ \sin \left(x+\frac{1}{2}\right)\sin\left(x^2+x+\frac{1}{2}\right) = \sin^2 \left(\sqrt{2\pi k}+\frac{1}{2}\right) $$
Dado que $\sqrt{2\pi k} \to \infty$ y $\sqrt{2\pi(k+1)} - \sqrt{2\pi k} \to 0$ cuando $k \to \infty$, podemos encontrar una subsecuencia $(k_n)$ tal que
$$ \min \left\{ \left| \sqrt{2\pi k_n} + \frac{1}{2} - \left( m+\frac{1}{2}\right)\pi \right| : m \in \Bbb{Z} \right\} \to 0 \quad \text{a medida que} \quad n \to \infty. \tag{1}$$
Así que para $x_n = \sqrt{2\pi k_n}$ obtenemos $ x_n f(x_n) \to 1$ a medida que $n \to \infty$ y por lo tanto $\limsup_{x\to\infty} xf(x) = 1$. Una ligera modificación de este argumento también prueba que $\liminf_{x\to\infty} xf(x) = -1$.
Prueba de la proposición $(1)$
Sea $\epsilon > 0$. Entonces existe $N$ tal que cuando $k \geq N$ tenemos $0 < r_k < \epsilon$, donde $r_k$ denota $r_k = \sqrt{2\pi(k+1)} - \sqrt{2\pi k}$ para simplificar. Entonces para la secuencia de bolas abiertas
$$ B_k = \left(\sqrt{2\pi k} - r_k, \sqrt{2\pi k} + r_k\right) = \left(\sqrt{2\pi k} - r_k, \sqrt{2\pi (k+1)}\right), $$
tenemos $B_k \cap B_{k+1} \neq \varnothing $ y por lo tanto
$$ \bigcup_{k=N}^{\infty} B_k = \left(\sqrt{2\pi N} - r_{N}, \infty \right). $$
Aquí, utilizamos el hecho de que $\sqrt{2\pi k} \to \infty$ cuando $k \to \infty$. Entonces para cualquier entero positivo suficientemente grande $m$ tenemos
$$ \left(m+\frac{1}{2}\right)\pi - \frac{1}{2} \in \left(\sqrt{2\pi N} - r_{N}, \infty \right). $$
De este modo, podemos escoger algún $k \geq N$ que satisfaga
$$ \left(m+\frac{1}{2}\right)\pi - \frac{1}{2} \in B_k \subset \left(\sqrt{2\pi N} - \epsilon, \sqrt{2\pi N} + \epsilon \right). $$
Esto prueba la siguiente proposición: Para cualquier $\epsilon > 0$ existe un entero positivo $k$ tal que
$$ \min \left\{ \left| \sqrt{2\pi k} + \frac{1}{2} - \left( m+\frac{1}{2}\right)\pi \right| : m \in \Bbb{Z} \right\} < \epsilon.$$
Luego, la proposición $(1)$ se sigue inmediatamente.
2 votos
El comentario de que $|\sin|\leqslant1$ en todas partes ciertamente no es suficiente para concluir, mucho menos para concluir que el límite superior y el límite inferior son $\pm1$.
1 votos
¿Qué quieres decir con "Por supuesto que calculé esa función"?
1 votos
Por el teorema del valor medio (que puedes usar ya que $x$ y $x+1$ son asintóticos), obtienes que $f(x) = \sin(m^2)$ para algún $m \in \[ x, x+1 \]$, ¿qué puedes decir acerca de $f(x)$ a medida que $x \to \pm \infty$? Luego recuerda que necesitas considerar $x f(x)$ para tu problema.
0 votos
Tu solución es correcta, excepto por algunas expresiones ambiguas. También estaba escribiendo una respuesta, pero coincidió exactamente con tu solución, así que la descarté.
1 votos
En tu solución, ¿cómo obtienes la primera desigualdad, ten en cuenta que en $f$ la integral es con respecto a $t$, no a $x$?.
0 votos
@leo: Cambié las variables y lo calculé utilizando la integración por partes.