Sí, por supuesto, hay mucha investigación sobre el rigor matemático en la teoría cuántica de campos. Por supuesto, no sé lo que significan para usted "razonable", "esencialmente diferente" y "realista", pero yo diría que hay enfoques "razonables" y que algunos de ellos abordan teorías de campo "realistas". Por otra parte, el "rigor" por sí mismo está lejos de ser el objetivo principal de la física matemática, como se ha discutido muchas veces aquí y en nuestros sitios hermanos. Véase, por ejemplo https://physics.stackexchange.com/questions/27665/the-role-of-rigor .
Pero, en cualquier caso, mencionas la QED, y más generalmente la teoría cuántica de campos "realista" significa casi con toda seguridad la Teoría de Yang-Mills + materia, ya que es lo que aparece en el Modelo Estándar. Aquí hay profundas cuestiones abiertas, como las relacionadas con la brecha de masa. Pero algunas partes ya se entienden. Una parte en particular es la perturbador Enfoque integral de la teoría del campo lagrangiano, donde la parte más profunda de la historia es la de teoría de la renormalización . El libro de Kevin Costello hace un buen trabajo, creo, explicando a los matemáticos qué es la teoría de la renormalización, situándola dentro de un lenguaje de álgebra homológica.
Pero usted trae a colación los axiomas de Wightman y la AQFT, lo que sugiere que está menos interesado en hacer una física rigurosa como la que se practica, y más en axiomatizar su estructura general. Por supuesto, todavía no hay consenso en cuanto a la axiomatización correcta -casi todas las propuestas no tienen ejemplos no triviales-, pero muchas estructuras parecen ser comunes. Existe una versión más flexible de AQFT, denominada álgebra de factorización y detallado en El libro de Costello con Owen Gwilliam que creo que contribuye en gran medida a proporcionar un marco básico. Ciertamente, todas las teorías físicas tendrán más estructura común que la de ser un álgebra de factorización; pero es muy común que escribamos un sistema de axiomas y luego los ejemplos que aparecen "en la naturaleza" son bastante especiales.
Todavía no estoy convencido de que la imagen de "Schrodinger" sea fundamentalmente correcta. Esta es la imagen que subyace, por ejemplo, a la cuantización geométrica, y también a la imagen Atiyah-Kontsevich-Segal-etc de la QFT (originalmente TQFT, pero ahora más general). Ciertamente, esta versión de la QFT es una estructura matemática interesante de estudiar, pero surge de la imagen de "Heisenberg" que sustenta las álgebras de factorización sólo porque a veces ciertos objetos algebraicos tienen representaciones proyectivas únicas, o al menos canónicas.
Por último, quiero hacer un comentario más sobre el éxito de la QFT perturbativa y de algunas no perturbativas. A saber, casi toda la QFT que se ha escrito se ha descrito en un formalismo de "integral de trayectoria" en un sentido u otro. Ciertamente, esto es cierto para las teorías de campo perturbativas del libro de Kevin. Pero probablemente "tener una descripción integral de trayectoria" no es fundamental para la noción de QFT. De manera relacionada, "tener un límite clásico" no es fundamental. Recomiendo encarecidamente Notas de Dijkgraaf sobre Les Houches Este punto se trata en la sección 2.2.
Editar: El OP ha aclarado la pregunta para preguntar sobre cómo no lineal la teoría cuántica de campos puede llevar a la lineal álgebra de los espacios de Hilbert. Creo que esto es parte de una confusión estándar con la imagen desarrollada de la cuantización, y lo que son los "espacios cuánticos". La respuesta corta es que una noción decente de "espacio cuántico" es un espacio de Hilbert con alguna estructura adicional (por ejemplo, un "triple espectral" de Connes et al). Para la respuesta larga, me limitaré a la mecánica cuántica (no lineal), que es el modelo sigma cuántico no lineal en una dimensión.
La forma más básica de la mecánica cuántica, después de Feynman y bien sintonizada para ser portable a qft, viene de la siguiente imagen. Se te da un espacio de configuración clásico, que es un colector abstracto con cierta geometría (una métrica para definir la "masa", una forma 1 para definir el "potencial magnético externo", una función para definir el "potencial eléctrico externo", etc.). Esta geometría en particular determina para ti un "funcional de acción", que es una función sobre las trayectorias en este colector. Ahora se define un "álgebra cuántica de observables" como sigue. Existe una biyección entre los observables cuánticos y los observables clásicos, donde los "observables clásicos" son funciones sobre el haz tangente a tu espacio, también conocido como espacio de fase, por lo que los observables son funciones de posición y velocidad. Pero el álgebra cuántica tiene una estructura algebraica mucho más rica que el álgebra conmutativa de funciones. En concreto, dadas dos funciones $f_1$ y $f_2$ su producto depende de tres números $(t_1, t_2;t_3)$ y es: $$ (f_1\star_{(t_1,t_2;t_3)} f_2)(x,v) = \int_{\text{paths }\gamma\text{ s.t. } (\gamma,\dot\gamma)(t_3) = (x,v)} f(\gamma(t_1),\dot\gamma(t_1)) \ f(\gamma(t_2),\dot\gamma(t_2))\ \exp(\text{action}(\gamma)) $$ La asociatividad de esta álgebra es algo sutil, y depende de los tiempos. En realidad hay que pensar en esto como " $f_1$ insertado en el momento $t_1$ multiplicado por $f_2$ insertado en el momento $t_2$ medido en el momento $t_3$ ". Hay una forma directa de hacer evolucionar una función insertada en algún momento $t_1$ a un diferentes función insertada en cualquier otro momento $t_3$ : a saber, multiplicar $1$ en un momento arbitrario $t_2$ .
Ahora puedes hacer lo siguiente. Ya que podemos evolucionar las funciones, $t_3$ no hay muchos datos - vamos a decidir $t_3 = (t_1 + t_2)/2$ digamos. Ahora vamos a considerar las situaciones en las que $t_2 = t_1 + \epsilon$ para epsilon muy pequeño. Dividiendo por $\epsilon$ y tomando un límite, se obtiene un álgebra asociativa no conmutativa habitual.
Existe una noción general en matemáticas según la cual un "espacio" es el mismo dato que su álgebra (conmutativa) de funciones. Del mismo modo, se puede definir un "espacio no conmutativo" para ser los mismos datos que un álgebra no conmutativa de funciones. Como estamos haciendo integrales, las funciones con las que trabajamos son los tipos de funciones que aparecen en la teoría de la medida y el análisis funcional, más que en la geometría. El mero hecho de conocer el álgebra de las funciones medibles sobre un colector sólo nos dice que ese colector es un espacio de medidas, y todos los espacios de medidas son isomorfos, por lo que también hay que recordar algunos datos de la estructura suave y la métrica, etc. Del mismo modo, el álgebra que se obtiene más ingenuamente de esta construcción no sabe mucho; los datos adicionales son los de un "triple espectral".
Más concretamente, a las álgebras les gusta tener representaciones, y a las álgebras del análisis funcional les gusta estar representadas en espacios de Hilbert. Para QM (pero no para qft de dimensiones superiores), este espacio de Hilbert es esencialmente único (de forma similar a como "el" espacio de medidas es esencialmente único). La estructura adicional es lo que lo hace "curvo". En el caso que nos ocupa, este espacio de Hilbert esencialmente único surge de muchas maneras: por ejemplo, la acción escoge una forma simpléctica en el haz tangente a tu espacio de configuración, identificándola con el haz cotangente, y puedes elegir una manera de identificar funciones en el haz cotangente con operadores diferenciales, y entonces esa álgebra de operadores diferenciales puede identificarse naturalmente con el álgebra que hemos construido; de esta manera, el álgebra actúa sobre "funciones de onda" en tu espacio de configuración.
¿Es un espacio lineal? En realidad no. Ya he mencionado que pensar en él como lineal es un error (se olvida la geometría). Otra es que la representación es realmente proyectiva, por lo que el espacio real de los estados se parece más al espacio de las líneas que pasan por el origen en el espacio de Hilbert que al espacio de los puntos. Realmente, esta dicotomía lineal/no lineal es como decir de tu colector "Colector, prefiero que seas lineal, así que voy a permitir algunas combinaciones lineales de tus puntos".
Espero que esto ayude a aclarar algunas cosas, y en particular la dicotomía Schrodinger/Heisenberg a la que aludí antes.