Así que creo que lo normal es colocar el operador entre el conjugado de la función de onda y la propia función de onda. Por ejemplo,
$$\langle p\rangle = \int_{-\infty}^{\infty}\Psi * \frac{\hbar}{i}\frac{d}{dx}\Psi dx$$
Sí, eso es correcto, y
¿Está mal hacer esto?
$$\langle p\rangle = \int_{-\infty}^{\infty}\frac{\hbar}{i}\frac{d}{dx}|\Psi|^2 dx$$
Sí, eso está mal.
Una forma fácil de ver por qué esto último debe equivocarse es que la integral de una derivada exacta siempre es factible:
$$\int_{-\infty}^{\infty}\frac{d}{dx}|\Psi|^2 dx=\left.|\Psi(x)|^2\right|_{-\infty}^{\infty}=0,$$ para todos $\Psi$ lo cual no puede ser correcto, entre otras cosas porque requieres $⟨p⟩$ depender de $\Psi$ de alguna manera significativa.