No estoy seguro de decir nada que no esté en nLab, pero déjame intentar una visión de pájaro. Una teoría cuántica está "mayormente especificada" por una acción, y la teoría CS en $2+1$ dimensiones con el grupo $G$ tiene como acción el funcional de Chern-Simons (proviene de los términos de frontera de las clases características) sobre el espacio de conexiones en algún $3$ múltiple. Hay un parámetro, y se obtiene una teoría bien definida siempre que el parámetro sea una raíz de la unidad. Dado que esta teoría no requiere una métrica de fondo u otra geometría para definirse, cualquier cálculo en la teoría debería en principio ser invariante topológico del colector (la vida se complica en los detalles, pero prácticamente todo lo que hay que añadir es esta información extra de biframación para que sea correcto). Dado que las partículas son, a grandes rasgos, representaciones, una secuencia de partículas que interactúan y se mueven unas alrededor de otras en el espacio (un $2$ -manifold aquí) trazará como una película bucles enlazados etiquetados por representaciones en el espaciotiempo (a $3$ -manifold). El valor de la expectativa de esta secuencia de interacciones (aproximadamente la probabilidad de ocurrencia) es el valor del polinomio de Jones en ese valor de $q$ (Los que han intentado hacer las diversas normalizaciones de los parámetros en la alineación de la literatura física y matemática se han vuelto locos: ¡no lo intenten en casa! Es bastante misterioso por qué estos valores se combinan con un polinomio). El valor de la función de partición para una variedad ordinaria (que técnicamente no debería tener significado físico, ya que se supone que hay que dividir por ella, pero te está diciendo algo sobre el operador de evolución del tiempo, que es constante porque es topológicamente invariante).
Todo eso debe ser porque la forma natural de construir una teoría a partir de la acción es la integral de trayectoria, que es una heurística no rigurosa. La respuesta matemática a esto es, en este caso, la TQFT axiomática. El razonamiento heurístico sostiene que los bloques de construcción básicos de la teoría deben tener ciertas propiedades que los especifiquen de manera única, y entonces se pueden construir explícitamente tales objetos a partir de, digamos, grupos cuánticos (NO sé cómo obtener los grupos cuánticos mismos a partir de la física) y demostrar que satisfacen las propiedades necesarias. A partir de ellos puedes calcular funciones de partición y expectativas a tu gusto.