Además de otros útiles comentarios, merece la pena destacar que pensar en términos de representaciones de un grupo topológico $G$ (en espacios vectoriales topológicos $V$) muestra lo que "convolución" debe ser, en la manera siguiente. Por simplicidad, supongamos $G$ es unimodular, en el sentido de que la izquierda y la derecha Haar medidas son las mismas.
Deje $G\times V\to V$ ser continua y un grupo de representación, por lo que incluyendo la asociatividad $g(hv)=(gh)v$ y que la identidad de $G$ actos trivialmente. Para una amplia clase de espacios vectoriales topológicos $V$ (casi completa localmente convexo, incluyendo Hilbert, de Banach, Frechet, LF, su débil dobles...) compacto-compatible funciones continuas $f$ $G$ act mediante la integración (por ejemplo, Gelfand-Pettis "débil" integrales suficiente)
$$
f\cdot v \;=\; \int_G f(g)\;gv\;dg
$$
Si queremos caracterizar una operación $f*F$ al exigir $(f*f)v=f(Fv)$, lo que nos lleva a
a una expresión (o dos) para que la convolución: en primer lugar,
$$
f(Fv) \;=\; \int_G f(g)\;g (Fv)\;dg \;=\; \int_G f(g)\g\Big(\int_G F(h)v\;dh\Big)dg
\;=\; \int\int f(g)\,F(h)\,ghv\;dh\,dg
$$
Hay al menos dos razonable de las opciones ahora: reemplace $g$ $gh^{-1}$ o reemplace$h$$g^{-1}h$. En el primero, se tiene
$$
f(Fv) \;=\; \int\int f(gh^{-1})\,F(h)\;gv\;dh\,dg
\;=\; \int\Big(\int f(gh^{-1})\,F(h)\,dh\Big)\,gv\;dg
\;=\; \Big(g\a \int f(gh^{-1})\,F(h)\,dg\Big)\cdot v
$$
lo que muestra que
$$
(f*F)(g)\;=\; \int_G f(gh^{-1})\,F(h)\;dh
$$
Para los números reales, esto le da a la $x-y$ en lugar de $x+y$. Pero, a mi juicio, un punto más importante es que podemos deducir de lo que convolución es, en lugar de "adivinar" una "definición" y "comprobar" si o no funciona como esperamos.