La fórmula que has utilizado en tu respuesta es incorrecta y no sólo por utilizar la integración por partes. Parece que estás mezclando definiciones de una expectativa porque a veces uno piensa en tres definiciones mientras que sólo hay una. Por si acaso, recordemos algo de teoría. Tal vez parezca aburrido, pero espero que si le pones un poco de atención, te sirva.
Hablemos sólo de variables aleatorias de valor real. Dado algunos espacio de probabilidad $(\Omega,\mathscr F,\mathsf P)$ la variable aleatoria $X$ es un medible función $$ X:(\Omega,\mathscr F)\to(\mathbb R,\mathscr B) $$ donde $\mathscr B$ es el Borel $\sigma$ -de los reales. Esto significa que para cualquier conjunto de Borel (es decir, cualquier conjunto abierto o cerrado) $B$ la probabilidad $\mathsf P\{X\in B\}$ está bien definida porque la mensurabilidad de $X$ implica $$ \{\omega:X(\omega)\in B\}\in\mathscr F $$ y la medida de probabilidad $\mathsf P$ se define para cualquier elemento de $\mathscr F$ . Por esta razón, podemos definir la expectativa de $X$ como sólo su Integral de Lebesgue : $$ \mathsf E[X] = \int\limits_\Omega X(\omega)\mathsf P(d\omega). $$ En dicha construcción no se puede aplicar ningún tipo de intergarción por partes en general, ya que no existe un análogo correcto para la derivada. Por otra parte, se puede recordar que si definimos $$ \mathsf Q_X(B) = \mathsf P\{X\in B\} $$ para cualquier $B\in\mathscr B$ entonces $\mathsf Q_X$ será una medida de probabilidad sobre $(\mathbb R,\mathscr B)$ llamado la distribución de $X$ . Tenga en cuenta que $\mathsf Q_X$ no es lo mismo que $\mathsf P$ En primer lugar, se definen en espacios diferentes; en segundo lugar, $\mathsf Q_X$ depende ciertamente de $X$ por lo que la medida de probabilidad $\mathsf P$ puede producir muchas distribuciones si variamos $X$ .
La ventaja de utilizar las distribuciones es que el cálculo de las expectativas es más fácil: $$ \mathsf E[X] = \int\limits_\Omega X(\omega)\mathsf P(d\omega) = \int\limits_\mathbb R x\,\mathsf Q_X(dx)\quad (1) $$ donde $x$ y $\omega$ son sólo variables de integración para que podamos llamarlas $y$ y $\zeta$ como ejemplo - no importa. Tenga en cuenta que pasar de $\omega$ a $x$ es sólo una especie de cambio de variables.
Como ya hemos comentado, hay muchas distribuciones por lo que deberíamos encontrar una especie de denominador común para la mayoría de ellas para poder calcular la última integral en $(1)$ . Se ha elegido como denominador la medida de Lebesgue (que es la longitud de un intervalo). Además, si $\mathsf Q_X$ tiene una densidad respecto a la medida de Lebesgue, es decir $$ \mathsf Q_X ((a,b]) = \int\limits_a^b f_X(x)\,dx $$ para alguna función $f$ entonces $$ \mathsf E[X] = \int\limits_\mathbb R x\,\mathsf Q_X(dx) = \int\limits_{-\infty}^\infty x\cdot f_X(x)dx\quad (2) $$ que es quizás la fórmula más popular para calcular las expectativas.
Ahora, ¿qué es $\Omega$ si sólo queremos describir una única variable aleatoria? Bien, parece que en este caso ese conjunto de reales tiene suficiente aleatoriedad para modelar solo variable aleatoria de valor real: sin importar la construcción original podemos poner $\Omega = \mathbb R, \mathscr F = \mathscr B$ y $\mathsf P = \mathsf Q_X,X = \operatorname{Id}$ es decir, para cualquier $\omega\in \mathbb R$ sostiene que $X(\omega) = \omega$ . Esta construcción implica inmediatamente $(1)$ ya que los espacios, las medidas y las funciones son las mismas. Bur no implica su fórmula en la que tiene múltiples variables aleatorias que no siempre se pueden modelar tomando $\Omega = \mathbb R$ .
Cuando se trata de dos variables aleatorias reales $X,Y$ no hay que pensar en ellos como una variable aleatoria conjunta $Z = (X,Y)$ con valores en $\mathbb R^2$ debido a la posible dependencia entre $X$ y $Y$ . Por eso, si $\mathsf Q_{XY}$ es su distribución conjunta y $f_{XY}$ es una densidad de esta distribución entonces se tiene $$ \mathsf E[XY] = \int\limits_{\mathbb R^2}xy\,\mathsf Q_{XY}(dxdy) = \int\limits_{-\infty}^\infty\int\limits_{-\infty}^\infty xy \cdot f_{XY}(x,y)\,dx\,dy $$ y por lo tanto si quieres aplicar la integración por partes en esta integral debes hacerlo de otra manera, no como lo has hecho en tu pregunta.
