Desde $u(x)$ es integrable, supongamos que hay una mancha en $a$ de ancho $\Delta a\ll a$ (modelado como un rectángulo de área $b$ ) y va a $0$ como $x\to\infty$ y $x\to0$ . Entonces, para los grandes $x\not\approx a^2$ ,
$$\begin{align} u(x)=\int_0^\infty u(t)u(x/t)\,dt & \approx\int_a^{a+\Delta a} u(t)u(x/t)\,dt+\int_{\frac x{a+\Delta a}}^{x/a} u(t)u(x/t)\,dt \\ & \approx b\,u(x/a)+b\frac x{a^2}u(x/a) \end{align}$$ Para los grandes $x$ podemos ignorar el primer término y dejar que $v(s)=\log u(a^{s+2})$ para que $$v(s)=\log(b(1+a^s))+v(s-1)\approx \log b+s\log a+v(s-1).$$ Así, $v$ es cuadrática, y en particular $v(s)=\frac s2\log(a^{s+1}b^2)+c$ para que $$\begin{align} u(x)\approx A(a^{s+1}b^2)^{s/2} & =A\exp\bigg(\Big(\frac{\log x}{2\log a}-1\Big)\log\!\frac{xb^2}a\!\bigg) \\ & =Bx^{\frac32+\log_ab+\frac12\log_ax},\qquad\mbox{as }x\to\infty. \end{align}$$ Para los pequeños $x$ el primer término domina, y un proceso similar da como resultado $$u(x)\approx Cx^{\log_ab},\qquad\mbox{as }x\to0.$$ Por supuesto, todo esto es asumiendo $a\neq1$ y sólo es una forma asintótica. Sin embargo, orienta las conjeturas (suponiendo que exista una solución analítica), especialmente teniendo en cuenta la $x^{\log x}$ fallo.
Obsérvese también que el término más dominante en la "caída" es $x^{1/2\log_ax}$ , que en realidad va a $\infty$ para $a>1$ . Esto haría que la integral divergiera, por lo que nos vemos obligados a concluir $a\leq1$ . Del mismo modo, para las pequeñas $x$ necesitamos $\log_ab>-1$ para que la integral converja, por lo que $\log b<-\log a\Rightarrow b<a^{-1}\geq1$ .
¿Qué pasa si $a=1$ ? Se aplica la misma derivación que antes, pero ahora la ecuación es $u(x)\approx b(1+x)u(x),$ sin solución. Por lo tanto, no hay solución, salvo $u(x)=0$ en este rango. Mi anterior sugerencia de $u(x)=\delta(x-1)$ entra en esta categoría. Vamos a comprobarlo: Si $x\neq1$ entonces
$$\begin{align} 0=u(x) & =\int_0^\infty\delta(t-1)\delta(x/t-1)\,dt \\ & =\int_{1-\epsilon}^{1+\epsilon}\delta(t-1)\delta(x/t-1)\,dt+\int_{x-\epsilon}^{x+\epsilon}\delta(t-1)\delta(x/t-1)\,dt \\ & =\int_{1-\epsilon}^{1+\epsilon}\delta(t-1)\cdot0\,dt+\int_{x-\epsilon}^{x+\epsilon}0\cdot\delta(x/t-1)\,dt=0 \end{align}$$
Y si $x\approx1$ no podemos evaluarla, pero podemos comprobar que se integra en $1$ :
$$\begin{align} 1=\int_0^\infty u(x)\,dx & =\int_0^\infty\int_0^\infty\delta(t-1)\delta(x/t-1)\,dt\,dx \\ & =\int_0^\infty\delta(t-1)\int_0^\infty t\delta(x-t)\,dx\,dt \\ & =\int_0^\infty\delta(t-1)t\,dt=1 \end{align}$$
Así que esta es una verdadera solución a la ecuación, aunque no muy bonita. (También 0 es una solución).
(Puede que edite esto más adelante con más casos especiales).