Si adoptas la perspectiva frecuentista, el hecho de que ⟨E⟩ no exista significa simplemente que si mides las energías de N sistemas preparados de manera idéntica y promedias los resultados, entonces ese número no se acerca a un límite bien definido cuando N→∞.
Si el espectro del Hamiltoniano es no acotado (como muy a menudo sucede), entonces esos estados deben existir en el espacio de Hilbert, por lo que ciertamente aparecen matemáticamente. Personalmente, no encuentro nada necesariamente no físico en ellos; ⟨E⟩→∞ no significa que cualquier medición devuelva infinito como resultado, sino que aumentar el número de mediciones tiende a aumentar la energía promedio.
Por ejemplo, considera una partícula en una caja de longitud a con una función de onda ψ(x)=1/√a. Esto corresponde a que la posición de la partícula es completamente desconocida (salvo por el hecho de que está en la caja). Si calculas ⟨E⟩ en este estado, verás que diverge a infinito. La partícula en una caja es, por supuesto, una idealización matemática, pero lo es también cada modelo que utilizamos en última instancia, y dado que éste es muy probablemente un modelo útil, no estoy tan dispuesto a descartarlo.
Tu ejemplo es más complicado de lo que parece ya que [ψ no satisface las condiciones de contorno asociadas al dominio de H]
@ZeroTheHero plantea un excelente punto. H (cuyo dominio son funciones dos veces débilmente diferenciables con condiciones de frontera de Dirichlet) es autoadjunto (como todos los Hamiltonianos deben ser), pero es correcto que la ψ que he escrito no se encuentra en su dominio. En este sentido, no podemos escribir ⟨E⟩=⟨ψ,Hψ⟩ ¡simplemente porque el lado derecho es ilegal!
Esto no significa necesariamente que ⟨E⟩ esté indefinido, pero debería generarnos sospechas. Lo correcto es descomponer ψ en términos de los autovectores normalizados de H: ψ=∑ncnϕnHϕn=Enϕn lo cual siempre se puede hacer debido a la autoadjunción de H. Luego definimos ⟨E⟩:=∑nEn|cn|2. Es fácil ver que esto coincide con ⟨ψ,Hψ⟩ cuando ψ∈dom(H), pero de hecho es ligeramente más general, y es este cálculo el que diverge a infinito. De hecho, si calculamos ingenuamente ⟨ψ,Hψ⟩ diferenciando ψ dos veces, obtenemos cero.