Estaba trabajando en un problema similar y saber cuál debería haber sido el resultado me ayudó a encontrar la solución. Solo voy a trabajar en el término de segundo orden y usaré letras mayúsculas para denotar las funciones transformadas de Fourier para mayor claridad (y, por pereza, voy a omitir los límites de integración).
El problema aquí es que tanto $x$ dependen de $t$, así que voy a usar un $\delta$ para lidiar con eso.
$$Y_2(\omega) = \iiint h_2(\tau_1,\tau_2)x(\theta-\tau_1)x(t-\tau_2)\delta(\theta-t) e^{-i\omega t} d\theta dt d\tau_1 d\tau_2$$
Luego voy a escribir el $\delta$ en su forma integral $\delta(\theta - t) = \frac{1}{2\pi} \int e^{-i \omega_1 (\theta-t)} d\omega_1$.
$$Y_2(\omega) = \frac{1}{2\pi} \int\!\!\!\iiiint h_2(\tau_1,\tau_2)x(\theta-\tau_1)x(t-\tau_2) e^{-i \omega_1 (\theta-t)} e^{-i\omega t} d\theta dt d\tau_1 d\tau_2 d\omega_1$$
$$Y_2(\omega) = \frac{1}{2\pi} \int\!\!\!\iiiint h_2(\tau_1,\tau_2) e^{-i\omega_1\tau_1} x(\theta-\tau_1) e^{-i \omega_1 (\theta-\tau_1)} x(t-\tau_2) e^{-i (\omega-\omega_1) t} d\theta dt d\tau_1 d\tau_2 d\omega_1$$
Con la sustitución $\zeta_1 = \theta - \tau_1$ finalmente podemos empezar a deshacernos de parte del lío.
$$Y_2(\omega) = \frac{1}{2\pi} \int\!\!\!\iiiint h_2(\tau_1,\tau_2) e^{-i\omega_1\tau_1} x(\zeta_1) e^{-i \omega_1 \zeta_1} x(t-\tau_2) e^{-i (\omega-\omega_1) t} d\zeta_1 dt d\tau_1 d\tau_2 d\omega_1$$
$$Y_2(\omega) = \frac{1}{2\pi} \iiiint h_2(\tau_1,\tau_2) e^{-i\omega_1\tau_1} X(\omega_1) x(t-\tau_2) e^{-i (\omega-\omega_1) t} dt d\tau_1 d\tau_2 d\omega_1$$
De manera similar puedo transformar el otro $x$ tomando $\zeta_2 = t - \tau_2$.
$$Y_2(\omega) = \frac{1}{2\pi} \iiiint h_2(\tau_1,\tau_2) e^{-i\omega_1\tau_1} e^{-i (\omega-\omega_1) \tau_2}X(\omega_1) x(t-\tau_2) e^{-i (\omega-\omega_1) (t-\tau_2)} dt d\tau_1 d\tau_2 d\omega_1$$
$$Y_2(\omega) = \frac{1}{2\pi} \iiiint h_2(\tau_1,\tau_2) e^{-i\omega_1\tau_1} e^{-i (\omega-\omega_1) \tau_2}X(\omega_1) x(\zeta_2) e^{-i (\omega-\omega_1) \zeta_2} d\zeta_2 d\tau_1 d\tau_2 d\omega_1$$
$$Y_2(\omega) = \frac{1}{2\pi} \iiint h_2(\tau_1,\tau_2) e^{-i\omega_1\tau_1} e^{-i (\omega-\omega_1) \tau_2}X(\omega_1) X(\omega-\omega_1) d\tau_1 d\tau_2 d\omega_1$$
Y finalmente solo nos queda la transformada de Fourier de $h_2$.
$$Y_2(\omega) = \frac{1}{2\pi} \int H_2(\omega_1,\omega-\omega_1) X(\omega_1) X(\omega-\omega_1) d\omega_1$$
Como ya se ha comentado, el término final con el $\delta(\omega)$ debería surgir del término de orden cero que omitiste: $y_0(t) = h_0$, y la transformada de Fourier de una constante efectivamente es simplemente un delta. No sé por qué se denotaría como $\overline{y_2}$, pero podría ser un error en las diapositivas que tienes.