Respuesta corta: técnicamente está bien porque las funciones suaves son sólo un subconjunto del $L^2(\mathbb{R}^3)$ .
Respuesta larga: $L^2(\mathbb{R}^3)$ se refiere más al producto interior que a la diferenciabilidad: normalmente queremos que nuestras funciones propias $\{|\psi_j \rangle \}$ son ortogonales entre sí, también normalizadas espacialmente en $L^2(\mathbb{R}^3)$ . $$ \langle \psi_i |\psi_j\rangle = \int_{\mathbb{R}^3} \overline{\psi_i}(t,x)\psi_j(t,x) \,dx = 0, \quad i\neq j. $$ También se ha normalizado: $$ \langle \psi_i |\psi_i\rangle = \int_{\mathbb{R}^3} \overline{\psi_i}(t,x)\psi_i(t,x) \,dx = 1. $$ De tal manera que $$ \frac{d}{dt}\langle \psi_i |\psi_i\rangle = 0 $$ Si las funciones propias satisfacen la propiedad anterior, entonces para cualquier función de onda normalizada $|\psi\rangle$ que abarca el producto interior tiene una forma diagonal: $$ |\psi\rangle = \sum^\infty_{i=1} \langle \psi_i |\psi \rangle\, |\psi_i \rangle, $$ traducido a notación matemática: $$ \psi(t,x) = \sum^\infty_{i=1} \alpha_i(t) \,\psi_i(t,x), $$ donde $$ \alpha_i(t) = \int_{\mathbb{R}^3} \overline{\psi_i}(t,x)\psi (t,x)dx, $$ para que podamos tener una interpretación física, es decir, la amplitud de probabilidad del sistema descrito por la función de onda $\psi(t,x)$ estando en ese estado $i$ es $\alpha_i$ , también conocido como $|\alpha_i|^2$ es la probabilidad de que el sistema en el estado $i$ en el momento $t$ . Todos ellos se benefician de la ortonormalidad de la base.
El $\psi_i$ se encuentran resolviendo el problema de los valores propios: $$ H\psi_i = E_i \psi_i, $$ donde $E_i$ es el valor propio del operador $H$ . La analogía matemática serían las funciones propias del menos Laplaciano en un cuadrado: $$ -\Delta u = k^2u, $$ las funciones propias son ortonormales en $L^2$ y ortogonal en $H^1$ .
La diferenciabilidad no es la principal preocupación en el mundo cuántico, según parece.
En primer lugar, para el espacio de Bochner que mencionas, normalmente se supone que la función de onda evoluciona suavemente en el tiempo, la obtención de la función de onda para modelos simples normalmente sigue algunos Ansatzes, onda plana, decaimiento, etc. Las funciones que obtenemos de estos Ansatzes son siempre suaves.
Por ejemplo, piense en una partícula individual 1D en un modelo de caja: $$ i\hbar\frac{\partial}{\partial t} \psi(t,x) = H\left|\psi \right> = -\frac{\hbar^2}{2m}\frac{\partial^2}{\partial x^2} \psi(t,x) \tag{$ \N - La estrella $} $$
hay una partícula en algún estado $E$ en $x\in [-1,0]$ , entonces en algún momento $t_0$ la longitud de la caja se duplica, $x\in [-1,1]$ . Lo que hacemos es expandir la función de onda $\psi(t_0,x)$ en $t_0$ en la caja antigua utilizando las nuevas funciones propias $\phi_i$ en la nueva caja $[-1,1]$ : $$\psi(t_0,x) = \sum_{i=1}^{\infty} \langle\phi_i(x)|\psi(t_0,x)\rangle \phi_i(x),\tag{1}$$ donde las nuevas funciones propias $\phi_i$ resuelve el problema de valores propios para $(\star)$ en la nueva caja $$ -\frac{\hbar^2}{2m}\frac{\partial^2}{\partial x^2}\phi_i(t,x) = E_i \phi_i(t,x) , \quad \text{ for }x \in[-1,1]. $$ Entonces $$ \psi(t_0+\Delta t,x) = \sum_{i=1}^{\infty} \langle\phi_i(x)|\psi(t_0,x)\rangle \phi_i(x)e^{ -iE_n \Delta t/\hbar } \tag{2} $$ La pregunta es: ¿La función de onda evoluciona suavemente? La respuesta es sí, pues, metodológicamente, no existe la no suavidad. Pues (1) puede expandirse en antiguas funciones propias o en nuevas funciones propias. Un ejercicio para ti es comprobar qué ocurrió cuando $\Delta t\to 0$ en (2).
En segundo lugar, la diferenciabilidad en el espacio es normalmente infinita dentro del dominio de interés, y continua hasta el límite del dominio de interés, cero fuera. Basta con pensar en esa partícula en el modelo de caja (pared de potencial infinito): la función propia se hace cero en los límites $x=1,-1$ .