Definir el Espacio y el Mapa: nos Vamos a reformular el problema como
$$ u(x) = -u(x)^2 - \int_0^x 1+\cos(x+u(y)) dy $$
Ahora vamos a definir un espacio de $X$ y el operador $T$ $X$
\begin{aligned}
X & = \Big\{u\in C[-\tfrac{1}{9},\tfrac{1}{9}] \: \|u\| \leq \tfrac{1}{3}, u(0) = 0 \Big\}\\
[Tu](x) & = -u(x)^2 - \int_0^x 1+\cos(x+u(y)) dy.
\end{aligned}
Observar que $[-\tfrac{1}{9},\tfrac{1}{9}]$ es compacto y por lo tanto $C[-\tfrac{1}{9},\tfrac{1}{9}]$ es completa. Si $u\in X$, luego
\begin{aligned}
\|Tu\| & = \Big\| -u(x)^2 - \int_0^x 1+\cos(x+u(y)) dy\Big\| \\
& \leq \|u\|^2 + \sup_{x\in[0,\tfrac{1}{9}]} \int_0^x|1+\cos(x+u(y))|dy \\
& \leq \frac{1}{9} + \sup_{x\in[0,\tfrac{1}{9}]} \int_0^\frac{1}{9} |1+\cos(x+u(y))| dy \\
& = \frac{1}{3}
\end{aligned}
Por el teorema fundamental del cálculo $Tu$ es continua en a $[-\tfrac{1}{9},\tfrac{1}{9}]$, y el aviso de que $[Tu](0) = 0$. Por lo tanto $Tu\in X$.
Demostrar La Contracción: Vamos A $u,v\in X$. Luego de observar
\begin{aligned}
\|Tu - Tv\| & = \sup_{x\in[0,\tfrac{1}{9}]} \Big| -u(x)^2 - \int_0^x 1+\cos(x+u(y))dy + v(x)^2 + \int_0^x 1+\cos(x+v(y))dy \Big| \\
& = \sup_{x\in[0,\tfrac{1}{9}]} \Big| v(x)^2-u(x)^2 + \int_0^x \cos(x+v(y)) - \cos(x+u(y)) dy \Big|\\
& = \sup_{x\in[0,\tfrac{1}{9}]} \Big| (v(x)-u(x))(v(x)+u(x)) + \int_0^x \cos(x+v(y)) - \cos(x+u(y)) dy \Big| \\
& \leq \|v-u\|\|v+u\| + \sup_{x\in[0,\tfrac{1}{9}]} \int_0^x | \cos(x+v(y)) - \cos(x+u(y)) | dy \\
& \leq \|v-u\|\|v+u\| + \tfrac{1}{9}\| \cos(x+v(y)) - \cos(x+u(y)) \|.
\end{aligned}
Desde $|\tfrac{d}{dx}\cos(x)| \leq 1$, por el valor medio teorema para cualquier de los puntos de $x,y$, $|f(x) - f(y)| \leq |x-y|$. Por el uniforme de la continuidad, si $|x + v(y) - (x + u(y))| = |v(y) - u(y)| < \epsilon$,$|\cos(x+v(y)) - \cos(x + u(y))| < \epsilon$. De ello se sigue que
\begin{aligned}
\|Tu - Tv\| &\leq \|v-u\|\|v+u\| + \tfrac{1}{9}\| \cos(x+v(y)) - \cos(x+u(y)) \| \\
& \leq \|v-u\|\|v+u\| + \tfrac{1}{9}\|v-u\| \\
& = \|v-u\|\Big( \tfrac{1}{9} + \|v+u\|\Big) \\
& \leq \tfrac{7}{9}\|u-v\|.
\end{aligned}
Por lo tanto $T:X\to X$ es una contracción en un espacio métrico $X$. Por la asignación de contracción teorema, $\exists!$ solución de $u\in X$ s.t. $Tu = u$. Dado que el $X\subset C[-\tfrac{1}{9},\tfrac{1}{9}]$, lo que sigue es que tenemos un continuo de solución de $u\in C[-\tfrac{1}{9},\tfrac{1}{9}]$.
Diferenciables: Por el teorema fundamental del cálculo $\frac{d}{dx}\Big[\int_0^x 1+\cos(x+u(y)) dy\Big] = 1+\cos(x+u(y))$ en el intervalo abierto $(-\tfrac{1}{9},\tfrac{1}{9})$. Luego de observar
\begin{aligned}
\frac{d}{dx}[ u(x) ] & = \frac{d}{dx}\Big[ -u(x)^2 - \int_0^x 1+\cos(x+u(y)) dy\Big] \\
& = -2u(x)u'(x) - (1+\cos(x+u(y))) \\
u'(x) & = -\frac{1+\cos(x+u(y))}{1 + 2u(x)}.
\end{aligned}
Dado que el $\|u\| \leq \frac{1}{3}$, se deduce que el $\not\exists x\in[-\tfrac{1}{9},\tfrac{1}{9}]$ s.t. $1+2u(x) = 0$. Por lo tanto $u'(x)$ está bien definida en el intervalo abierto $(-\tfrac{1}{9},\tfrac{1}{9})$.