Si adoptas la perspectiva frecuentista, el hecho de que $\langle E\rangle$ no exista significa simplemente que si mides las energías de $N$ sistemas preparados de manera idéntica y promedias los resultados, entonces ese número no se acerca a un límite bien definido cuando $N\rightarrow \infty$.
Si el espectro del Hamiltoniano es no acotado (como muy a menudo sucede), entonces esos estados deben existir en el espacio de Hilbert, por lo que ciertamente aparecen matemáticamente. Personalmente, no encuentro nada necesariamente no físico en ellos; $\langle E\rangle \rightarrow \infty$ no significa que cualquier medición devuelva infinito como resultado, sino que aumentar el número de mediciones tiende a aumentar la energía promedio.
Por ejemplo, considera una partícula en una caja de longitud $a$ con una función de onda $\psi(x) = 1/\sqrt{a}$. Esto corresponde a que la posición de la partícula es completamente desconocida (salvo por el hecho de que está en la caja). Si calculas $\langle E\rangle$ en este estado, verás que diverge a infinito. La partícula en una caja es, por supuesto, una idealización matemática, pero lo es también cada modelo que utilizamos en última instancia, y dado que éste es muy probablemente un modelo útil, no estoy tan dispuesto a descartarlo.
Tu ejemplo es más complicado de lo que parece ya que [$\psi$ no satisface las condiciones de contorno asociadas al dominio de $H$]
@ZeroTheHero plantea un excelente punto. $H$ (cuyo dominio son funciones dos veces débilmente diferenciables con condiciones de frontera de Dirichlet) es autoadjunto (como todos los Hamiltonianos deben ser), pero es correcto que la $\psi$ que he escrito no se encuentra en su dominio. En este sentido, no podemos escribir $\langle E\rangle = \langle \psi,H\psi\rangle$ ¡simplemente porque el lado derecho es ilegal!
Esto no significa necesariamente que $\langle E \rangle$ esté indefinido, pero debería generarnos sospechas. Lo correcto es descomponer $\psi$ en términos de los autovectores normalizados de $H$: $$\psi = \sum_n c_n \phi_n \qquad H\phi_n = E_n\phi_n$$ lo cual siempre se puede hacer debido a la autoadjunción de $H$. Luego definimos $\langle E\rangle := \sum_n E_n |c_n|^2$. Es fácil ver que esto coincide con $\langle \psi,H\psi\rangle$ cuando $\psi\in\mathrm{dom}(H)$, pero de hecho es ligeramente más general, y es este cálculo el que diverge a infinito. De hecho, si calculamos ingenuamente $\langle \psi,H\psi\rangle$ diferenciando $\psi$ dos veces, obtenemos cero.