¿Qué significa restar un número a un operador?
Estoy de acuerdo en que puede parecer raro hacer esto. Por ejemplo, si representamos nuestros operadores como matrices, ¿cómo restamos un número de la matriz? Para evitar esto, en su lugar se puede pensar en $\hat H - E$ como $\hat H - E\hat I$ donde $\hat I$ es sólo el operador de identidad.
O lo que puedes hacer es dividir el producto interno:
$$\langle\psi|\hat H-E|\psi\rangle=\langle\psi|\hat H|\psi\rangle-\langle\psi|E|\psi\rangle$$
¿Y qué hace $\langle\psi|\psi\rangle$ en el denominador?
Si nuestro estado está normalizado, entonces esto es igual a $1$ . Pero no tenemos por qué trabajar con estados normalizados. Si decidimos no trabajar con estados normalizados, debemos incluirlo en el denominador. A continuación se explica por qué es necesario:
Parece que la cantidad que quieren calcular es sólo el valor esperado de cuánto se aleja la energía $E$ es a partir del valor medio real del Hamiltioniano $\hat H$ . Por lo tanto, querríamos calcular el valor $\langle\hat H-E\rangle$ es decir, el valor esperado de una medida de $H-E$ . Si no estamos trabajando con estados normalizados, entonces tenemos que incluir el término en el denominador para normalizarlo todo. Por lo tanto, obtenemos $$R=\frac{\langle\psi|\hat H-E|\psi\rangle}{\langle\psi|\psi\rangle}$$
O si quieres hacer más cuentas: $$\frac{\langle\psi|\hat H-E|\psi\rangle}{\langle\psi|\psi\rangle}=\frac{\langle\psi|\hat H|\psi\rangle}{\langle\psi|\psi\rangle}-\frac{\langle\psi|E|\psi\rangle}{\langle\psi|\psi\rangle}=\langle\hat H\rangle-E$$
Así que es sólo el valor de expectativa del Hamiltoniano restado por el valor $E$ . Cuanto más se acerque este valor a $0$ cuanto más seguros estemos de utilizar $E$ para aproximar la "energía real" $\langle\hat H\rangle$ .