Consideremos el caso general en el que queremos calcular $$ \langle p |F(r) |p'\rangle.$$ Insertando la resolución de la identidad $\int d^3r\, |r\rangle\langle r|$ nos encontramos con que tenemos que calcular $$\tilde{F}(q = p-p') = \int d^3 r \, e^{i(p-p')r} F(r). \tag{1}$$ Esta integral convergerá si $\int dr\, |F(r)|$ es finito. Se dice que tal función es $L^1$ . También se dará el caso de que $\int dq\, | \tilde F (q)|$ es finito, es decir, $\tilde F(q)$ es también $L^1$ . El mapa $F \mapsto \tilde F$ es el Transformada de Fourier llamémoslo $\mathcal F$ .
Ahora el problema es que $1/r$ en un espacio tridimensional no es $L^1$ pero si podemos encontrar una forma de extender la transformada de Fourier para que se defina para más funciones, quizá podamos seguir dando sentido a $\langle p |\frac{1}{r}|p' \rangle$ . La transformada de Fourier puede extenderse a funciones que sólo satisfacen $$\int d^3 r \, |F(r) g(r)| < \infty \tag{2}$$ para todas las funciones $g(r)$ que decaen con suficiente rapidez (más exactamente, $g$ tiene que decaer más rápido que cualquier potencia de $r$ ). Sin embargo, extendiéndonos hasta aquí, $\tilde F(q)$ no es necesariamente $L^1$ ni siquiera una función. Podría ser un distribución como un delta de Dirac. Tal vez usted ha visto la fórmula $$\int d^3r\, e^{i (\vec p - \vec p') \cdot \vec r} = \delta(\vec p- \vec p').$$ Lo que realmente se quiere decir es que $$(\mathcal F[1])(p) = \delta(p).$$
Volviendo a la pregunta original, la función $F(r) = 1/r$ cumple la condición (2), pero no podemos utilizar la fórmula integral (1) para hallar $\tilde F(q)$ . Sin embargo, las funciones $F_\epsilon(r) = e^{-\epsilon r}/r$ con $\epsilon > 0$ convergen a $F$ cuando $\epsilon \to 0$ . Cada $F_\epsilon(r)$ es $L^1$ por lo que podemos encontrar (bastante) fácilmente $\tilde F_\epsilon(q)$ . La extensión de la transformada de Fourier está construida de tal manera que si $$F_\epsilon \overset{\epsilon \to 0}{\longrightarrow} F \text{ then } \tilde{F}_\epsilon \overset{\epsilon \to 0}{\longrightarrow} \tilde F.$$ Esto justifica el uso del factor de convergencia $e^{-\epsilon r}$ .
(Tienes razón en que se puede hacer converger casi cualquier cosa amortiguando con $e^{-\epsilon r}$ pero eso sólo refleja que como la condición (2) no es muy fuerte, la transformada de Fourier está definida para un montón de funciones).